Data Engineer Confirmé – Python
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Dans le cadre du renforcement d'une équipe Data chez l'un de nos clients grands comptes, acteur majeur du secteur de l'énergie, nous recherchons un Data Engineer confirmé disposant d'une solide expertise en Python/PySpark et dans le traitement de données massives.
Vous interviendrez sur des projets Data à forts enjeux, dans un environnement Big Data en constante évolution, avec notamment des travaux d'industrialisation et de migration vers Databricks.
- Concevoir, développer et optimiser des pipelines de données en Python/PySpark traitant des volumes importants.
- Assurer la maintenance évolutive et corrective des traitements existants.
- Garantir la performance, la robustesse et la qualité des pipelines en production.
- Mettre en place et améliorer les dispositifs de supervision, de monitoring et de contrôle qualité des données.
- Participer à la gestion des incidents et au maintien en conditions opérationnelles des traitements.
- Contribuer aux réflexions d'architecture et à l'industrialisation des solutions Data.
- Accompagner les équipes Data Science dans la mise en production de leurs traitements.
- Participer à la préparation et à la migration des pipelines vers Databricks.
- Contribuer aux bonnes pratiques de développement : tests, revue de code, CI/CD et documentation.
Environnement technique
- Base de données : PostgreSQL
Profil recherché
- Vous justifiez d'au moins 5 années d'expérience en Data Engineering, avec une expertise significative en PySpark.
- Vous avez une expérience concrète du développement et de l'optimisation de pipelines Spark traitant de gros volumes de données.
- Vous maîtrisez l'environnement Hadoop et/ou Databricks en production.
- Vous avez une solide expérience du RUN, du monitoring et de la supervision de traitements Data.
- Vous êtes à l'aise avec SQL, les outils d'orchestration et les pratiques d'intégration continue.
- Vous êtes autonome, rigoureux(se), proactif(ve) et capable de proposer des solutions techniques adaptées.
- Vous appréciez le travail en équipe et savez communiquer avec des interlocuteurs techniques et métiers.
Une expérience sur des données géospatiales (GeoPandas, Sedona) serait un plus.
Vous souhaitez intervenir sur des projets Big Data à forte volumétrie et contribuer à l'évolution d'une plateforme Data ?