Data Engineer H/F
Il y a 19 heures
Courbevoie, Île-de-France
Free-Work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. Dans le cadre du renforcement d'une plateforme Data stratégique au sein d'un acteur majeur du secteur de l'énergie, nous recherchons un Data Engineer Senior / Tech Lead Data H/F afin d'accompagner la conception, l'industrialisation et l'optimisation des solutions de traitement et d'exposition des données de consommation clients dans un environnement Cloud moderne basé sur Databricks et AWS.
Missions principales :
Architecture Data & conception des solutions
Participer à la conception des architectures techniques en collaboration avec les équipes Data et Métiers.
Être force de proposition sur les choix techniques et les évolutions de la plateforme.
Concevoir et faire évoluer des architectures de données basées sur la Databricks Medallion Architecture (Bronze, Silver, Gold).
Comprendre les besoins fonctionnels afin de proposer les solutions les plus adaptées.
Participer aux cérémonies Agile SAFe (PI Planning, refinements, rétrospectives, chiffrages).
Conception & développement Data Engineering
Concevoir, développer et maintenir des pipelines de données (ETL/ELT).
Mettre en ?uvre et orchestrer les traitements de données via Databricks.
Modéliser les données dans Delta Lake en appliquant les bonnes pratiques de performance et de gouvernance.
Concevoir, développer et maintenir des APIs d'exposition et de consommation des données.
Assurer la documentation technique des solutions développées.
Performance, qualité & exploitation
Garantir la qualité, la fiabilité et la performance des traitements en production.
Optimiser les traitements Spark et Databricks.
Mettre en place des mécanismes de Data Quality, monitoring et alerting.
Analyser et corriger les incidents de production.
Contribuer à l'amélioration continue des processus d'exploitation.
Industrialisation & leadership technique
Développer, tester et déployer les composants via des pipelines CI/CD.
Accompagner les équipes sur les bonnes pratiques Data Engineering.
Participer aux orientations techniques et aux choix d'architecture.
Promouvoir les approches d'AI-Augmented Data Engineering.
Contribuer à l'innovation et à l'optimisation continue de la plateforme. Bac +5 en informatique ou formation équivalente.
Minimum 7 ans d'expérience en Data Engineering.
Expérience significative en environnement Databricks et AWS.
Maîtrise de Python, SQL, PySpark.
Solides compétences en modélisation et qualité des données.
Expérience sur les APIs REST et les pratiques CI/CD.
Expérience de Tech Lead ou référent technique.
Bonne connaissance des méthodologies Agile / SAFe.
Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. Dans le cadre du renforcement d'une plateforme Data stratégique au sein d'un acteur majeur du secteur de l'énergie, nous recherchons un Data Engineer Senior / Tech Lead Data H/F afin d'accompagner la conception, l'industrialisation et l'optimisation des solutions de traitement et d'exposition des données de consommation clients dans un environnement Cloud moderne basé sur Databricks et AWS.
Missions principales :
Architecture Data & conception des solutions
Participer à la conception des architectures techniques en collaboration avec les équipes Data et Métiers.
Être force de proposition sur les choix techniques et les évolutions de la plateforme.
Concevoir et faire évoluer des architectures de données basées sur la Databricks Medallion Architecture (Bronze, Silver, Gold).
Comprendre les besoins fonctionnels afin de proposer les solutions les plus adaptées.
Participer aux cérémonies Agile SAFe (PI Planning, refinements, rétrospectives, chiffrages).
Conception & développement Data Engineering
Concevoir, développer et maintenir des pipelines de données (ETL/ELT).
Mettre en ?uvre et orchestrer les traitements de données via Databricks.
Modéliser les données dans Delta Lake en appliquant les bonnes pratiques de performance et de gouvernance.
Concevoir, développer et maintenir des APIs d'exposition et de consommation des données.
Assurer la documentation technique des solutions développées.
Performance, qualité & exploitation
Garantir la qualité, la fiabilité et la performance des traitements en production.
Optimiser les traitements Spark et Databricks.
Mettre en place des mécanismes de Data Quality, monitoring et alerting.
Analyser et corriger les incidents de production.
Contribuer à l'amélioration continue des processus d'exploitation.
Industrialisation & leadership technique
Développer, tester et déployer les composants via des pipelines CI/CD.
Accompagner les équipes sur les bonnes pratiques Data Engineering.
Participer aux orientations techniques et aux choix d'architecture.
Promouvoir les approches d'AI-Augmented Data Engineering.
Contribuer à l'innovation et à l'optimisation continue de la plateforme. Bac +5 en informatique ou formation équivalente.
Minimum 7 ans d'expérience en Data Engineering.
Expérience significative en environnement Databricks et AWS.
Maîtrise de Python, SQL, PySpark.
Solides compétences en modélisation et qualité des données.
Expérience sur les APIs REST et les pratiques CI/CD.
Expérience de Tech Lead ou référent technique.
Bonne connaissance des méthodologies Agile / SAFe.