Data Engineer Senior
Il y a 1 jour
La GarenneColombes, Ile-de-France
Collective.work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Taux journalier (TJM): 550
Localisation : La Garenne-Colombes
- télétravail hybride Démarrage : fin novembre 2026
Expérience:
5 ans minimum Type de contrat : freelance Contexte Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers. Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data. Missions
* Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers
* Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks
* Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance
* Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts
* Concevoir, développer et maintenir des APIs d'exposition et de consommation des données
* Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting
* Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD
* Analyser et résoudre les incidents de production et assurer le suivi des actions correctives
* Rédiger et maintenir la documentation technique
* Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)
* Contribuer aux choix techniques et à l'amélioration continue de la plateforme
* Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering Environnement technique
* Langages : Python, SQL
* Traitement de données : Spark, PySpark, DBUtils
* Plateforme : Databricks, Unity Catalog, Delta Lake
* Orchestration : Airflow (migration en cours vers Databricks Workflows)
* APIs et tests : FastAPI, Pytest
* Cloud : AWS (Lambda, S3, ECS, Secrets Manager)
* Outillage : Git, CI/CD
Profil recherché
* Expérience d'au moins 5 ans en Data Engineering
* Expérience confirmée en conception et développement de pipelines de données
* Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)
* Maîtrise de la configuration des ressources Databricks sur AWS
* Solides connaissances en modélisation, performance et qualité des données
* Connaissance des principes d'API REST et des architectures orientées services
* Expérience significative sur l'environnement AWS
* Capacité d'analyse et de résolution d'anomalies en production
* Expérience en tant que Tech Lead
* Pratique du Data Engineering assisté par l'IA Atouts appréciés
* Expérience en traitement de données en temps réel (streaming)
* Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques
Experience:
Débutant accepté
- télétravail hybride Démarrage : fin novembre 2026
Expérience:
5 ans minimum Type de contrat : freelance Contexte Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers. Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data. Missions
* Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers
* Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks
* Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance
* Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts
* Concevoir, développer et maintenir des APIs d'exposition et de consommation des données
* Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting
* Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD
* Analyser et résoudre les incidents de production et assurer le suivi des actions correctives
* Rédiger et maintenir la documentation technique
* Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)
* Contribuer aux choix techniques et à l'amélioration continue de la plateforme
* Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering Environnement technique
* Langages : Python, SQL
* Traitement de données : Spark, PySpark, DBUtils
* Plateforme : Databricks, Unity Catalog, Delta Lake
* Orchestration : Airflow (migration en cours vers Databricks Workflows)
* APIs et tests : FastAPI, Pytest
* Cloud : AWS (Lambda, S3, ECS, Secrets Manager)
* Outillage : Git, CI/CD
Profil recherché
* Expérience d'au moins 5 ans en Data Engineering
* Expérience confirmée en conception et développement de pipelines de données
* Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)
* Maîtrise de la configuration des ressources Databricks sur AWS
* Solides connaissances en modélisation, performance et qualité des données
* Connaissance des principes d'API REST et des architectures orientées services
* Expérience significative sur l'environnement AWS
* Capacité d'analyse et de résolution d'anomalies en production
* Expérience en tant que Tech Lead
* Pratique du Data Engineering assisté par l'IA Atouts appréciés
* Expérience en traitement de données en temps réel (streaming)
* Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques
Experience:
Débutant accepté