Senior Data Engineer

Fan de Data Engineering, de systèmes distribués et de traitement de données à grande échelle ? Envie de concevoir des infrastructures Data performantes et de relever des défis complexes de scalabilité, de fiabilité et de traitement en temps réel ?

Rejoignez l'aventure

Rejoignez une entreprise technologique française en forte croissance, spécialisée dans le développement de produits numériques grand public à vocation internationale.

Ils conçoivent des applications innovantes nécessitant des infrastructures performantes et le traitement de volumes importants de données en temps réel.

Vous rejoignez leur équipe Engineering, dans un environnement technique exigeant qui privilégie l'autonomie, l'excellence technologique et la collaboration entre les équipes.

Mission & Résultats attendus

• Concevoir et développer des pipelines de données à grande échelle, en batch et en streaming, permettant de collecter, transformer et exploiter efficacement des volumes importants de données, tout en faisant évoluer l'architecture Data Lake et les infrastructures de stockage.
• Garantir la qualité, la fiabilité et l'accessibilité des données en mettant en place des mécanismes de validation, de surveillance et de contrôle de leur fraîcheur, de leur exhaustivité et de leur intégrité, tout en construisant des datasets structurés et réutilisables.
• Optimiser les performances des traitements distribués et des requêtes SQL, réduire les temps d'exécution et maîtriser les coûts d'infrastructure, en exploitant notamment Python, SQL, Spark et les technologies de traitement distribué.
• Expérimenter et industrialiser de nouvelles solutions techniques, développer des prototypes et intégrer les approches pertinentes aux systèmes de production, tout en contribuant aux décisions d'architecture et à l'amélioration continue des pratiques d'ingénierie.

3 résultats attendus

• Une infrastructure Data robuste, performante et scalable

Vous développez et fiabilisez des pipelines batch et streaming capables de traiter des volumes croissants de données, avec un niveau élevé de performance, de disponibilité et d'observabilité.

• Des données fiables, accessibles et directement exploitables

Vous mettez en place des contrôles de qualité et des datasets réutilisables permettant aux équipes de disposer de données cohérentes, actualisées et facilement exploitables, tout en réduisant les interventions manuelles.

• Des traitements de données plus performants et économiquement optimisés

Vous améliorez l'efficacité des traitements distribués et des requêtes en trouvant le meilleur équilibre entre rapidité d'exécution, fiabilité des résultats et coûts d'infrastructure.

Profil recherché pour le poste

Vous êtes un Senior Data Engineer expérimenté, passionné par les architectures Data complexes, les systèmes distribués et les problématiques de performance à grande échelle.

Vous possédez :

• Une expérience significative dans la conception, le développement et l'exploitation de pipelines de données en production, idéalement sur des infrastructures à fort volume.
• Une excellente maîtrise de Python et SQL, avec une expérience de développement en production sur Python ou Scala.
• Une expertise des technologies de traitement distribué, notamment PySpark, Spark SQL et Spark Streaming.
• Une bonne connaissance des architectures Data Lake et des formats de stockage comme Parquet et Apache Iceberg.
• Une maîtrise des architectures de traitement batch et streaming, ainsi que des problématiques associées à la gestion de volumes importants de données.
• Une expérience concrète de l'optimisation de requêtes SQL et de traitements distribués, avec une compréhension approfondie du fonctionnement des moteurs de traitement.
• Une capacité à concevoir des datasets fiables, structurés et réutilisables pour répondre aux besoins de différentes équipes.
• Une bonne compréhension des enjeux de qualité, fiabilité, observabilité et performance des infrastructures Data.

Sont particulièrement appréciées :

• Une expérience avec Apache Flink ou d'autres moteurs de traitement de flux en temps réel.
• Une connaissance des pipelines de Machine Learning, notamment pour l'entraînement ou l'inférence de modèles.
• Une familiarité avec les systèmes de recommandation, de ranking, les embeddings ou l'Entity Resolution.
• Une expérience des architectures manipulant des données sensibles, des exigences du RGPD et des mécanismes de gestion des données personnelles.
• Une capacité à comprendre ou modifier ponctuellement des composants développés en Rust.

Vous êtes auton