Data Engineer
Il y a 3 jours
Ile-de-France
INVIVOO
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Projet :
Au sein d'un grand groupe international, dans un contexte de transformation data à l'échelle européenne, l'objectif est de faire évoluer une plateforme Big Data stratégique visant à centraliser et fiabiliser des indicateurs clés pour plusieurs entités du groupe. Déjà opérationnelle sur un premier périmètre, la plateforme doit désormais être étendue à de nouveaux pays. Le consultant interviendra en tant que Data Engineer senior au sein de l'équipe cœur, en lien étroit avec les équipes métiers, les architectes et les équipes de déploiement locales. Il participera à la construction du socle commun (ingestion, traitement, normalisation et exposition des données) ainsi qu'à l'industrialisation de la plateforme : monitoring, CI/CD, tests, performance et qualité de code.
Environnement technique :
• Langages : Python (POO, packaging, modularisation), PySpark, SQL
• Big Data : Spark, Databricks, HDFS / S3 / Parquet
• Cloud AWS : S3, Glue, Lambda, IAM, CloudWatch
• DevOps : Git, CI/CD, Infrastructure as Code
• Architecture : architecture en couches, solutions de stockage et d'exposition des données Missions principales :
• Recueillir, challenger et affiner les besoins métiers
• Concevoir des solutions en cohérence avec les standards d'architecture du groupe
• Développer et maintenir les pipelines d'ingestion, de traitement et de distribution des données
• Optimiser les traitements distribués (partitionnement, bucketing, cache, optimisation mémoire et requêtes)
• Contribuer au framework commun : monitoring, alerting, tests, CI/CD, résilience
• Accompagner les développeurs de l'équipe sur la qualité et les bonnes pratiques
• Rédiger et maintenir la documentation technique en anglais
Profil recherché
• Expérience d'au moins 6 ans en tant que Data Engineer, dont une partie sur des environnements Big Data
• Solide maîtrise de Python et PySpark, avec une vraie culture du software engineering (design, réutilisabilité, tests)
• Expérience sur Databricks et/ou Spark sur AWS
• Bonne connaissance de l'écosystème AWS
• Maîtrise de la modélisation de données et de SQL
• Pratique des chaînes CI/CD et de l'Infrastructure as Code
• Capacité à encadrer techniquement des développeurs et à porter la qualité de livraison
• Proactivité, esprit d'équipe et capacité à mener plusieurs sujets en parallèle
• Français et anglais courants
• Mission basée en Île-de-France, avec des déplacements ponctuels en France et en Europe Processus de recrutement :
• Une préqualification téléphonique
• Un entretien RH avec un(e) chargé(e) de recrutement
• Un entretien technique avec un(e) consultant(e) senior ou un responsable Data
• Langages : Python (POO, packaging, modularisation), PySpark, SQL
• Big Data : Spark, Databricks, HDFS / S3 / Parquet
• Cloud AWS : S3, Glue, Lambda, IAM, CloudWatch
• DevOps : Git, CI/CD, Infrastructure as Code
• Architecture : architecture en couches, solutions de stockage et d'exposition des données Missions principales :
• Recueillir, challenger et affiner les besoins métiers
• Concevoir des solutions en cohérence avec les standards d'architecture du groupe
• Développer et maintenir les pipelines d'ingestion, de traitement et de distribution des données
• Optimiser les traitements distribués (partitionnement, bucketing, cache, optimisation mémoire et requêtes)
• Contribuer au framework commun : monitoring, alerting, tests, CI/CD, résilience
• Accompagner les développeurs de l'équipe sur la qualité et les bonnes pratiques
• Rédiger et maintenir la documentation technique en anglais
Profil recherché
• Expérience d'au moins 6 ans en tant que Data Engineer, dont une partie sur des environnements Big Data
• Solide maîtrise de Python et PySpark, avec une vraie culture du software engineering (design, réutilisabilité, tests)
• Expérience sur Databricks et/ou Spark sur AWS
• Bonne connaissance de l'écosystème AWS
• Maîtrise de la modélisation de données et de SQL
• Pratique des chaînes CI/CD et de l'Infrastructure as Code
• Capacité à encadrer techniquement des développeurs et à porter la qualité de livraison
• Proactivité, esprit d'équipe et capacité à mener plusieurs sujets en parallèle
• Français et anglais courants
• Mission basée en Île-de-France, avec des déplacements ponctuels en France et en Europe Processus de recrutement :
• Une préqualification téléphonique
• Un entretien RH avec un(e) chargé(e) de recrutement
• Un entretien technique avec un(e) consultant(e) senior ou un responsable Data