Data Engineer PySpark

Il y a 13 heures

Lyon, Auvergne-Rhône-Alpes, France TMC Temps plein
| QUI SOMMES-NOUS ? TMC est une société internationale de conseil en haute technologie qui apporte son expertise à ses clients afin de les aider à relever leurs défis. Depuis 25 ans, avec une présence mondiale dans 16 pays, nous avons bâti une réputation d'excellence et de fiabilité grâce à l'Employeneurship, dans divers domaines : Technology & Engineering / Energy & Renewables / Life Sciences & Pharma / Digital & IT. | VOTRE CHALLENGE ? Dans le cadre du développement de produits Data, vous intégrerez une équipe spécialisée dans les données liées aux activités de branchement et à la gestion des adresses. Vous interviendrez sur des pipelines de données à grande échelle, traitant plusieurs dizaines de millions de lignes, avec des enjeux importants de qualité, de performance et de disponibilité des données. La mission s'inscrit dans un environnement technique en évolution, avec une migration progressive vers Databricks. Vos

responsabilités:
• Concevoir, développer et maintenir des pipelines de données avec Python et PySpark.
• Traiter et optimiser des volumes importants de données.
• Améliorer les performances des traitements Spark et la consommation des ressources.
• Assurer le maintien en conditions opérationnelles (MCO) des pipelines en production.
• Superviser les traitements, analyser les anomalies et gérer les incidents.
• Mettre en place des contrôles de qualité des données et des indicateurs de suivi.
• Accompagner les Data Scientists dans l’industrialisation de leurs développements.
• Participer à la conception des architectures et des modèles de données.
• Contribuer à la migration des traitements vers Databricks et Delta Lake.
• Rédiger et maintenir la documentation technique. | QU'ATTENDONS-NOUS DE VOUS ?
• Formation supérieure en informatique, Data ou équivalent (Bac+5 idéalement).
• Minimum 5 ans d’expérience en Data Engineering.
• Très bonne maîtrise de Python, PySpark et SQL.
• Expérience confirmée sur Apache Spark en environnement de production.
• Expérience sur des traitements de données massives (Big Data).
• Connaissance de Hadoop / HDFS et/ou Databricks.
• Maîtrise des problématiques de monitoring, de qualité des données et de gestion des incidents.
• Bonne connaissance des pratiques CI/CD et du versioning avec Git. Atouts supplémentaires :
• Expérience avec Databricks, Delta Lake et Airflow.
• Connaissance de PostgreSQL et Power BI.
• Expérience dans le traitement de données d’adresses ou de données spatiales. Environnement technique Python, PySpark, Apache Spark, Hadoop, HDFS, Databricks, Delta Lake, Airflow, PostgreSQL, GitLab, GitLab CI/CD, Jira, Confluence et Power BI.