Emplois actuels liés à Data Engineer cloud Google - Montfaucon - Bénin Digital

Contexte Notre stack technique est principalement constitué de Python, Spark, SQL, BigQuery, Dataplex pour la qualité des données, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform. Missions Déployer les datasets normés sur un ou plusieurs des data domain Accompagner les utilisateurs des datasets normés dans leurs usages Mettre en place le contrôle qualité sur ces datasets Ainsi que les tâches suivantes, dans un premier temps : Concevoir et réaliser les contrôles qualité sur les données de la plateforme Data, en exploitant Dataplex Universal Catalog Industrialiser ces contrôles grâce à Terraform et Terragrunt Concevoir et réaliser les indicateurs nécessaires au pilotage de la qualité des données Concevoir et réaliser la remontée de ces indicateurs dans notre data catalog Collibra En marge de l’objectif de livraison precedent et en interaction avec les membres de l’équipe, la suite de la mission consiste à : Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Participer aux initiatives de gouvernance des données en développant les contrôles de qualité des données Construire et maintenir des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant des flux avec l’API Collibra Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques Junior : moins de 3 ans d’expérience significative dans le type d’expertise demandé Confirmé : 3 à 5 ans d’expérience significative dans le type d’expertise demandé Sénior : plus de 5 ans d’expérience significative dans le type d’expertise demandé Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de la Grande distribution & e-commerce et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Bénin Digital accompagne ses clients dans la chaine de valeur de leurs activités en leur mettant à disposition son expertise à travers des consultants hautement qualifiés pour des projets et des missions diversifiées en Afrique et en Europe. #J-18808-Ljbffr