Data Engineer
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks.
Le consultant sera notamment chargé de :
Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données
Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes
Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données
Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler
Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code
Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données
Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code
Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions