Stage - Data Engineering & Analytics

Il y a 3 heures

Paris, Île-de-France AXA Temps plein

VOTRE RÔLE ET VOS MISSIONS

What You’ll Do

 

Construire un pipeline de données centralisé et fiable

  • Collecter, nettoyer et inventorier les données de sinistres liés aux catastrophes naturelles (Nat Cat) stockées dans diverses sources et formats (Excel, CSV, JSON, etc.).
  • Concevoir et implémenter un pipeline ETL (Extract, Transform, Load) dans Databricks pour automatiser l'ingestion, le nettoyage et la standardisation des données.
  • Appliquer des contrôles de qualité des données et des règles de validation pour garantir l'exactitude et la cohérence des données.
 

Développer une interface de chargement/extraction de données

  • Créer une interface intuitive au sein de Databricks (par exemple, en utilisant des Databricks Widgets ou une interface utilisateur basée sur des notebooks) permettant aux utilisateurs non techniques de charger/soumettre des données facilement.
  • Implémenter des messages d'erreur clairs et des workflows guidés pour accompagner les contributeurs de données au sein des équipes.
 

Permettre la visualisation des données et l'analyse en libre-service

  • Construire un tableau de bord interactif connecté à la couche de données nettoyées de Databricks, offrant des informations pertinentes sur les données de sinistres.
  • Intégrer une fonctionnalité de téléchargement de données, permettant aux utilisateurs autorisés d'exporter des ensembles de données propres et structurés directement depuis la plateforme.
 

Documenter et maintenir la solution

  • Produire une documentation technique claire couvrant l'architecture du pipeline, les dictionnaires de données et les guides d'utilisation.
  • Suivre les meilleures pratiques d'ingénierie des données (contrôle de version, code modulaire, reproductibilité).

VOTRE PROFIL

Who You Are