Lead Data Engineer

Il y a 4 jours

Paris, Île-de-France SThree plc Temps plein 90 000 € - 135 000 € Contrat

Le Senior Data Engineer / Data Engineering Tech Lead est responsable des fondations d’ingénierie permettant de rendre les données du programme 24/7 exploitables, fiables et évolutives.

Il s’agit d’un poste d’ingénieur senior très opérationnel (hands-on) avec des responsabilités limitées de leadership technique. Ce n’est pas un poste généraliste de développement logiciel .NET. L’accent est mis sur la construction de pipelines de données de qualité industrielle : ingestion, transformation, qualité des données, traçabilité (lineage), observabilité et mise à disposition sécurisée de produits de données et de jeux de données prêts pour les calculs.

Le rôle consiste à orienter les choix techniques et les standards d’ingénierie tout en continuant à concevoir et développer directement les composants critiques.

Au sein de l’équipe produit 24/7, le/la titulaire du poste collaborera étroitement avec le Product Owner, les Business Analysts, les développeurs, les architectes, les équipes Data Platform et les parties prenantes métiers dans les différents pays.

Il/elle doit être capable de fournir des solutions tactiques à court terme tout en conservant une vision claire de l’architecture cible et des capacités réutilisables OneB2B.

Responsabilités principales

A. Architecture Data et intégration des sources

  • Contribuer à l’architecture data de bout en bout et documenter les flux de données actuels et cibles, les interfaces, dépendances et responsabilités.

  • Concevoir et développer des pipelines d’ingestion à partir de :

    • Bases de données ;

    • APIs REST ;

    • Jeux de données internes ;

    • Flux partenaires ;

    • Échanges de fichiers sécurisés.

  • Intégrer des données hétérogènes provenant de différents pays en isolant les spécificités de chaque source via des connecteurs réutilisables.

  • Mettre en œuvre des traitements batch et, lorsque nécessaire, des flux quasi temps réel ou de streaming.

  • Gérer :

    • Les évolutions de schémas ;

    • Les données arrivant en retard ;

    • Les rejouabilités (replay) ;

    • L'idempotence ;

    • Les backfills ;

    • Les données en erreur.

  • Collaborer avec les équipes plateforme pour déterminer s’il convient de réutiliser un produit de données existant plutôt que de créer une copie locale.

B. Ingénierie des séries temporelles et modélisation des données

  • Concevoir des structures évolutives pour gérer de gros volumes de données temporelles :

    • Consommation client ;

    • Production d’actifs énergétiques.

  • Définir et maintenir les modèles de référence (canonical models) pour :

    • Client ;

    • Site ;

    • Point de comptage ;

    • Contrat ;

    • Actif ;

    • Allocation ;

    • Certificat ;

    • Série temporelle ;

    • Résultat de matching ;

    • Période de reporting.

  • Appliquer les modèles de données adaptés aux usages :

    • Opérationnels ;

    • Analytiques ;

    • Jeux de données de calcul.

  • Gérer les problématiques liées :

    • Aux fuseaux horaires ;

    • Aux changements d’heure ;

    • Aux granularités temporelles ;

    • Aux unités de mesure ;

    • Aux données manquantes ;

    • Aux doublons ;

    • Aux corrections versionnées.

  • Optimiser le stockage, le partitionnement, l’indexation et les performances selon les volumes réellement observés et les règles de rétention.

C. Transformation des données et moteur de calcul

  • Développer des transformations testées permettant de standardiser les données sources en courbes de consommation et de production prêtes pour les calculs.

  • Alimenter le Hourly Matching Score et les indicateurs clients associés via des datasets reproductibles et versionnés.

  • Collaborer avec les experts métiers pour transformer les règles de calcul en spécifications techniques et tests automatisés.

  • Garantir la distinction entre :

    • Les mesures opérationnelles provisoires ;

    • Les résultats validés ou certifiés.

D. Qualité des données, traçabilité et observabilité

  • Mettre en place des contrôles automatisés sur :

    • La complétude ;

    • La validité ;

    • La fraîcheur ;

    • L’unicité ;

    • La cohérence ;

    • L’intégrité référentielle.

  • Définir des mécanismes de rapprochement entre :

    • Les données sources ;

    • Les données ing