Senior Data Engineer

Lille – environnement hybride

Notre client est une scale-up technologique lilloise à dimension internationale, spécialisée dans le développement de produits digitaux dans l'univers du divertissement.

Créée il y a plus de 20 ans, l'entreprise a connu une forte accélération de sa croissance ces dernières années, tout en conservant un environnement entrepreneurial et une organisation à taille humaine.

Ses produits sont aujourd'hui utilisés quotidiennement par des millions d'utilisateurs à travers le monde, avec une activité très largement tournée vers l'international.

Dans cette phase de changement d'échelle, l'entreprise continue de renforcer ses équipes Tech & Data afin de structurer son organisation et d'accompagner durablement sa croissance.

Le contexte

Dans le cadre de son développement, notre client renforce son équipe Data et recherche un Senior Data Engineer capable de prendre progressivement l' ownership technique de sa plateforme Data.

La plateforme repose aujourd'hui principalement sur GCP, BigQuery, SQLMesh et Python.

Elle a initialement été construite avec l'aide d'un prestataire externe et doit désormais être pleinement maîtrisée et exploitée en interne.

Le rôle est donc particulièrement important : il ne s'agit pas de repartir d'une page blanche, mais de comprendre l'existant, d'en reprendre progressivement la maîtrise, de fiabiliser ce qui doit l'être et de faire évoluer la plateforme de manière structurée.

L'objectif est simple : garantir que les données nécessaires à l'entreprise soient disponibles, fiables, compréhensibles, correctement modélisées et observables lorsqu'un problème survient.

Tu travailleras en forte proximité avec les équipes Data, Backend et Infrastructure, notamment sur les sujets d'ingestion, de modélisation, de qualité des données, d'observabilité et de contrats avec les systèmes sources.

Tu seras notamment amené à :

• Prendre l'ownership technique de la plateforme Data et du Data Warehouse.
• Comprendre et faire évoluer l'architecture existante ainsi que les différents flux de données.
• Maintenir et faire évoluer les pipelines d'ingestion.
• Intégrer de nouvelles sources de données.
• Garantir la fraîcheur, la disponibilité et la fiabilité des données.
• Concevoir et maintenir les différents niveaux de modélisation : données ingérées, staging, modèles métier, dimensions, faits et marts.
• Faire évoluer les transformations et modèles avec SQLMesh.
• Mettre en place et renforcer les tests et contrôles de qualité : unicité, nullabilité, cohérence, complétude, fraîcheur, variations anormales…
• Mettre en place une observabilité efficace afin de détecter rapidement les problèmes de données.
• Diagnostiquer les incidents, identifier leur origine et remettre les traitements en fonctionnement.
• Travailler avec les équipes Backend afin de définir des contrats de données suffisamment stables.
• Collaborer avec le Data Analyst sur les besoins analytiques, les usages et les modèles nécessaires aux différents consommateurs.
• Participer à la maîtrise et à l'optimisation des coûts de la plateforme Data.
• Participer aux choix d'architecture et faire évoluer progressivement les composants présentant les risques ou limites les plus importants.

L'environnement technique

Le profil recherché

Nous recherchons avant tout un Data Engineer senior ayant déjà travaillé sur des plateformes Data en production.

Tu disposes notamment de :

• Une expérience solide en Data Engineering, idéalement sur une plateforme exploitée en production.
• Une excellente maîtrise de SQL.
• Une bonne maîtrise d'un langage de programmation généraliste.
• Une expérience significative en modélisation de données.
• Une expérience des architectures ETL / ELT.
• Une expérience avec dbt, SQLMesh ou un outil équivalent.
• Une expérience de BigQuery ou d'un Data Warehouse cloud similaire.
• Une bonne compréhension des problématiques de qualité, fraîcheur, c