Senior Data Engineer

KaraFun Group, c'est une équipe de passionné·es de tous horizons, uni·es par un même objectif: apporter de la joie à travers la musique.

Depuis plus de 20 ans, nous créons et éditons des sites et applications dédiés à la musique et au karaoké, utilisés partout dans le monde par des particuliers comme par des professionnels. Notre mission? Faire chanter la planète

Nos produits sont utilisés chaque jour à grande échelle, mais aussi dans nos propres bars karaoké à Lille, Paris et Bruxelles. Autant dire que quand on développe quelque chose, on peut vite le voir vivre en conditions réelles.

Dans le cadre de notre développement, nous cherchons à renforcer notre équipe avec un·e Senior Data Engineer capable de prendre l'ownership technique de notre plateforme data.

Notre plateforme repose aujourd'hui principalement sur GCP, BigQuery, SQLMesh et Python. Elle a été initialement construite avec l'aide d'un prestataire externe et doit désormais être pleinement maîtrisée et exploitée en interne.

Le rôle est donc particulièrement important: il ne s'agit pas de repartir d'une page blanche, mais de comprendre l'existant, d'en reprendre progressivement la maîtrise, de fiabiliser ce qui doit l'être et de faire évoluer la plateforme de manière structurée.

L'objectif est simple: garantir que les données dont nous avons besoin soient disponibles, fiables, compréhensibles, correctement modélisées et observables lorsqu'un problème survient.

Tu travailleras en forte proximité avec les équipes data, backend et infrastructure, notamment sur les sujets d'ingestion, de modélisation, de qualité des données, d'observabilité et de contrats avec les systèmes sources.

Tu seras amené·e à:

• Prendre l'ownership technique de notre plateforme data et de notre data warehouse.
• Comprendre et faire évoluer l'architecture existante ainsi que les différents flux de données.
• Maintenir et faire évoluer les pipelines d'ingestion et intégrer de nouvelles sources.
• Garantir la fraîcheur, la disponibilité et la fiabilité des données.
• Concevoir et maintenir les différents niveaux de modélisation: données ingérées, staging, modèles métier, dimensions, faits et marts.
• Faire évoluer les transformations et modèles avec SQLMesh.
• Mettre en place et renforcer les tests et contrôles de qualité: unicité, nullabilité, cohérence, complétude, fraîcheur, variations anormales…
• Mettre en place une observabilité efficace pour détecter rapidement les problèmes de données.
• Diagnostiquer les incidents, identifier leur origine et remettre les traitements en fonctionnement.
• Travailler avec les équipes backend pour définir des contrats de données suffisamment stables et éviter que les consommateurs data dépendent directement des détails internes des applications.
• Participer à la maîtrise et à l'optimisation des coûts de la plateforme data.
• Collaborer avec notre Data Analyst sur les besoins analytiques, les usages et les modèles nécessaires aux différents consommateurs.
• Participer aux choix d'architecture et faire évoluer progressivement les composants qui présentent les risques ou limites les plus importants.

La plateforme data repose principalement sur:

Profil recherché

• Tu as une expérience solide en Data Engineering, idéalement sur une plateforme exploitée en production.
• Tu maîtrises très bien SQL.
• Tu maîtrises au moins un langage de programmation généraliste.
• Tu as une expérience significative en modélisation de données.
• Tu as déjà travaillé sur des pipelines ETL/ELT.
• Tu as déjà utilisé un outil de transformation et de gestion de modèles data comme SQLMesh ou dbt.
• Tu as une expérience de BigQuery ou d'un data warehouse cloud équivalent.
• Tu sais mettre en place des contrôles de qualité et raisonner sur la fraîcheur, la complét