Data Dev Expert

Contexte de la mission
Présentiel 2 à jours par semaine à Lyon
Expert (minimum 12 ans d'expérience)
Marché SMASH
Début de mission estimé le 19/05
Dans le cadre de l?évolution des enjeux et des besoins métiers (sûreté, sécurité, productivité, performance?) et dans le cadre des ambitions digitales du groupe, la direction de production thermique et nucléaire (DPNT) cherche à assurer une continuité d?activité/accessibilité et une meilleure productivité. Pour répondre à ces enjeux, le SI doit devenir un levier de performances opérationnelles et financières. Vision 2035 est un programme par palier en 5 ans pour mettre en place le SI de demain. Vision 2035 va doter la DPNT d?un SI élaboré par l?utilisateur pour l?utilisateur, inclusif pour les partenaires, dont l?apport de valeur métier tire parti d?une exploitation des leviers technologiques et des données.
Depuis 2023, le projet SI PLURI a été repris dans le périmètre prioritaire du programme VISION 2035 de la DPNT dans le cadre de la rénovation du SI de la DPNT qui apporte de nouveaux moyens et méthodes de développement à la hauteur de l?ambition du projet. Le rôle premier du Pluriannuel pour la DPN est d'optimiser le placement (DATARREP) et la durée des arrêts de tranche afin d'optimiser au maximum nos capacités de production Les principales ambitions du SI Pluri sont:
Améliorer le temps métal de l'ensemble des parties prenantes pour constituer des prévisions dynamiques et résilientes aux variations de contexte, en permettant de simuler des scénarii avec réactivité (comme le placement des arrêts - DATARREP) et en capitalisant les meilleures performances, au moyen d?une IA notamment.
Améliorer la qualité et la stabilité des Avants Projets Pluriannuels (vision 10 ans) et par conséquent des prévisions associées pour tous métiers confondus.
Objectifs et livrables
**Prestation attendues**:
Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données
Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud
Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, Spark, Glue)
**Livrables attendus**:
Catalogue des données consommées et produites et des règles de transformation associées
Solution pour alimenter Pluri en données provenant de plusieurs SI partenaires
Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark)
Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python).
Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data.
Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performances
Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform)
Expertise en Sécurité et AWS
**Savoir être**:
Esprit analytique, rigueur et aisance relationnelle
Appétence et curiosité pour les nouvelles technologies, le Système d?Information et l?Agilité.
**Expériences professionnelles requises**:
Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming
Mise en oeuvre des outils disponibles dans le cloud AWS pour stocker et traiter de la données: Glue, Spark, Airflow, RDS, OpenSearch, S3 Parquet
Compétences demandéesCompétences
Niveau de compétence
**problématiques liées aux performances**: Expert
**Rigueur**: Expert
**Analyse des données**: Expert
**technologies du Big Data**: Expert
**Mise en place de pipelines**: Expert
**AWS**: Expert
**Git**: Expert
**Esprit analytique**: Expert
**Aisance relationnelle**: Expert
**volumétrie**: Expert
**Terraform**: Expert
**spark**: Expert