Data Engineer Senior/réplication

Contexte : CRM Lakehouse ? Architecture Data & IA convergée La plateforme ONE DATA s?inscrit au c?ur de la transformation d?entreprise du groupe, en fournissant les outils nécessaires pour exploiter les données de manière plus stratégique et renforcer une culture "data driven". Cette transformation impacte non seulement les technologies, mais aussi l?organisation et les processus. Les projets mis en oeuvre sont multiples : - Initiatives métiers : intelligence artificielle, profil 4D du client, segmentation & activation, reportings & analyses - Initiatives techniques : socles de données, gouvernance & qualité Nous sommes à la recherche d?un consultant de haut niveau spécialisé en Data Engineering, disposant d?une expertise approfondie dans les technologies AWS (Kinesis, DMS, S3, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu?une solide maîtrise des bases de données telles qu?Exadata, Oracle, SQL Server et Snowflake. Il sera chargé de concevoir et développer des pipelines de réplication et de traitement de données dans un environnement cloud tout en contribuant activement à la fiabilité, l?automatisation et la scalabilité de notre plateforme data. Dans ce cadre, le client a déployé les outils : AWS, Dataiku, Gitlab, Terraform, Snowflake, Braze, AI, Spark, Python, POWERBI,.etc. pour mettre en place des architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-driven, Streaming, etc. Des exemples de projets sont nombreux: - AI Chatbot - AI pour recommandation des programmes.etc. - feature store - Socle vidéo - Content Platform - Partager des données avec nos partenaires (Netflix, Apple, M6, TF1, etc.) Description du poste: Concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS. Responsabilités: - Développement de pipelines ETL/ELT avec Airflow, Python, SQL - Connexion aux bases soiurces (Exadata, Oracle, etc.) - Intégration des données dans AWS (S3, Kinesis, DMS, Lambda...) - Nettoyage, mapping, déduplication et enrichissement des données - Collaboration avec les ?architectes pour appliquer les modèles cibles - Documentation technique et référentiels - Concevoir et mettre en ?uvre les flux de réplication - Harmoniser et transformer les données - Automatiser les pipelines de données - Développer des Pipelines Gitlab CI/CD - Développer d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python. - Contribuer au FinOps Compétences: - Aptitudes : Être dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifique - Très bonne maîtrise de l?écosystème AWS (S3, Kinesis, DMS, Lambda?) - Très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.) - Maitrise des langages : SQL, Python - Maîtrise des outils de traitement et d?orchestration (Apache Airflow, dbt, Python, SQL) - Bonne expérience en Terraform pour l?IaC - Connaissance de GitLab CI/CD pour l?automatisation des déploiements - Expérience avec des CRM - Connaissance des problématiques de data quality, modélisation, monitoring et alerting - Expérience : Justifier d'au moins 6 ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements dans un environnement similaire - Une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciées - Langues : Maîtrise de l'anglais courant