Stagiaire Data Engineer F/H F/H

Description du posteIntitulé du posteStagiaire Data Engineer F/H F/HMétierSystèmes d'informations - DéveloppementPrésentation du contexteLe Shopping Data Hub (SDH) d'Air France KLM est un nouveau hub de données développé sur Google Cloud Platform (GCP) qui reçoit, réconcilie, stocke et partage les données du processus d'achats client allant de la recherche client, aux offres vols et options proposées à nos clients jusqu'à la réservation. Comme le volume de données stockées est important (plusieurs TB de données par jour), l'optimisation des coûts FinOps est primordiale.En plus du développement de ce hub avec le système de réservation actuelle, Air France KLM s'est inscrit dans un grand projet de changement de sa manière de vendre des billets et options afin d'aller vers un modèle plus orienté vers le commerce de détail. Nous allons donc passer d'un système « dossiers de référence – billets » à un modèle « commande ». En , SDH commencera à recevoir les premières données de la nouvelle source de commande.Sur le Cloud GCP, de nouveaux enjeux d'observabilité apparaissent :Suivre finement les coûts BigQuery (FinOps), en particulier le coût par requête, par job, par pipeline ou par source de données.Garantir la bonne réception des événements SDH issus des flux Kafka, afin d'assurer la complétude et la fiabilité du Data Warehouse.Le stage proposé s'inscrit dans cette démarche : concevoir une solution complète de monitoring et d'observabilité permettant à l'équipe Data d'avoir une vision claire sur la santé du système, la qualité des flux entrants et la maîtrise des coûts.Description de la missionNous recherchons un(e) stagiaire aura pour accompagner l'équipe de data engineering PNR afin de :Concevoir et mettre en place un dispositif de suivi des performances, des coûts et de la complétude des flux SDH dans l'environnement GCP.Développer un tableau de bord Power BI centralisant ces informations de manière claire et visuelle.L'objectif final est de fournir à l'équipe et aux responsables métiers un outil de pilotage en temps réel de l'activité du Data Warehouse GCP.Les missions principales sont les suivantes :Identifier les indicateurs clés :coûts BigQuery (par requête, dataset, job, utilisateur, pipeline),volumétrie et latence des événements Kafka reçus,erreurs ou ruptures de flux,taux de complétude et fréquence de rafraîchissement des données.Collecter les données de logs et de métriques GCP (Cloud Logging, Cloud Monitoring, BigQuery INFORMATION_SCHEMA, etc.).Centraliser ces informations dans un dataset de monitoring dans BigQuery.Concevoir un tableau de bord Power BI pour la visualisation et le pilotage.Documenter la solution, automatiser les rapports et proposer des mécanismes d'alerte (détection d'anomalies, dérives de coûts, flux interrompus).Environnement technique :Cloud : Google Cloud Platform (BigQuery, Cloud Logging, CloudMonitoring, Dataflow, Pub/Sub, éventuellement Dataform)Streaming : Kafka (events)BI & Visualisation : Power BI (connecteur BigQuery)Langages : SQL, Python (optionnel)Outils : Git, Terraform (optionnel)Profil recherchéVous êtes en dernière année d'une Formation Bac en Data Engineer, Statistiques, Informatique, Mathématiques ou équivalent. Vous maîtrisez des outils d'analyse et de visualisation (SQL, Power BI, Spotfire).Vous avez d'excellentes capacités analytiques et vous faites preuve de rigueur, d'autonomie, d'esprit d'équipe. Vous avez la capacité à gérer plusieurs projets simultanément. Vous communiquez avec aisance des analyses complexes à des interlocuteurs non techniques. Vous avez le sens du détail et l'exigence dans la qualité des livrables.Type de contratConvention de stageDurée du contrat (mois) :6