Data Engineer AWS

Groupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s'est construit, depuis 2005, sur un modèle qui place l'excellence, le dépassement de soi et la RSE au cœur de sa stratégie. En nous rejoignant, vous intégrez des communautés d'experts et de talents qui vous permettent de développer vos compétences et d'offrir à nos clients le meilleur accompagnement possible. Notre savoir-faire s'articule autour de nos 6 domaines d'expertise : - Conseil & Agilité - Cybersécurité - Data - DevOps - Infrastructures & Cloud - Software Engineering Nous sommes à la recherche d'un consultant de haut niveau spécialisé en Data Engineering, disposant d'une expertise approfondie dans les technologies AWS (Kinesis, DMS, S3, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu'une solide maîtrise des bases de données telles qu'Exadata, Oracle, SQL Server et Snowflake. Il sera chargé de concevoir et développer des pipelines de réplication et de traitement de données dans un environnement cloud tout en contribuant activement à la fiabilité, l'automatisation et la scalabilité de notre plateforme data. Le contexte: L'un des principaux objectifs du plan de transformation DATA du groupe Canal+ est de développer des applications DATA qui enrichissent l'expérience de nos abonnés et permettent à nos équipes métiers (pilotage, marketing, commerce, etc.) de devenir autonomes dans l'analyse des données et des KPI. Dans ce cadre, Canal+ a déployé les outils : AWS, Dataiku, Gitlab, Terraform, Snowflake, Braze, AI, Spark, Python, POWERBI, .etc. pour mettre en place des architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-driven, Streaming, etc. Des exemples de projets sont nombreux : - AI Chatbot - AI pour recommandation des programmes .etc. - feature store - Socle vidéo - Content Platform - Partager des données avec nos partenaires (Netflix, Apple, M6, TF1, etc.) - Mettre à disposition des applications de data-selfservice Description du poste : Concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS. Responsabilités : - Développement de pipelines ETL/ELT avec Airflow, Python, SQL - Connexion aux bases sources (Exadata, Oracle, etc.) - Intégration des données dans AWS (S3, Kinesis, DMS, Lambda) - Nettoyage, mapping, déduplication et enrichissement des données - Collaboration avec les 'architectes pour appliquer les modèles cibles - Documentation technique et référentiels - Concevoir et mettre en œuvre les flux de réplication - Harmoniser et transformer les données - Automatiser les pipelines de données - Développer des Pipelines Gitlab CI/CD - Développer d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python. - Contribuer au FinOps Compétences : - Aptitudes : Être dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifique - Très bonne maîtrise de l'écosystème AWS (S3, Kinesis, DMS, Lambda…) - Très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.) - Maitrise des langages : SQL, Python - Maîtrise des outils de traitement et d'orchestration (Apache Airflow, dbt, Python, SQL) - Bonne expérience en Terraform pour l'IaC - Connaissance de GitLab CI/CD pour l'automatisation des déploiements - Expérience avec des CRM - Connaissance des problématiques de data quality, modélisation, monitoring et alerting - Expérience : Justifier d'au moins 6 ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements dans un environnement similaire - Une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciées - Langues : Maîtrise de l'anglais courant