Data Engineer Aws

locations
- Néosoft Paris
- time type
- Temps plein
- posted on
- Offre publiée aujourd'hui
- job requisition id
- JR102439
- Groupe indépendant de conseil en transformation digitale de près de 1800 collaborateurs, Néosoft s’est construit, depuis 2005, sur un modèle qui place l’excellence, le dépassement de soi et la RSE au cœur de sa stratégie.
- En nous rejoignant, vous intégrez des communautés d’experts et de talents qui vous permettent de développer vos compétences et d’offrir à nos clients le meilleur accompagnement possible.

Notre savoir-faire s’articule autour de nos 6 domaines d’expertise:
- Conseil & Agilité- Cybersécurité- Data- DevOps- Infrastructures & Cloud- Software Engineering
- Nous sommes à la recherche d’un consultant de haut niveau spécialisé en Data Engineering, disposant d’une expertise approfondie dans les technologies AWS (Kinesis, DMS, S3, etc.), Airflow, Terraform, GitLab CI/CD, Python ainsi qu’une solide maîtrise des bases de données telles qu’Exadata, Oracle, SQL Server et Snowflake.
- Il sera chargé de concevoir et développer des pipelines de réplication et de traitement de données dans un environnement cloud tout en contribuant activement à la fiabilité, l’automatisation et la scalabilité de notre plateforme data.

Le contexte:

- Dans ce cadre, Canal+ a déployé les outils : AWS, Dataiku, Gitlab, Terraform, Snowflake, Braze, AI, Spark, Python, POWERBI,.etc. pour mettre en place des architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-driven, Streaming, etc.
- Des exemples de projets sont nombreux:

- AI Chatbot
- AI pour recommandation des programmes.etc.
- feature store
- Socle vidéo
- Content Platform
- Partager des données avec nos partenaires (Netflix, Apple, M6, TF1, etc.)

Description du poste:

- Concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS.
- Responsabilités:

- Développement de pipelines ETL/ELT avec Airflow, Python, SQL
- Connexion aux bases soiurces (Exadata, Oracle, etc.)
- Intégration des données dans AWS (S3, Kinesis, DMS, Lambda...)
- Nettoyage, mapping, déduplication et enrichissement des données
- Collaboration avec les ’architectes pour appliquer les modèles cibles
- Documentation technique et référentiels
- Concevoir et mettre en œuvre les flux de réplication
- Harmoniser et transformer les données
- Automatiser les pipelines de données
- Développer des Pipelines Gitlab CI/CD
- Développer d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python.
- Contribuer au FinOps
- Le profil recherché
- Compétences:

- Aptitudes : Être dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifique
- Très bonne maîtrise de l’écosystème AWS (S3, Kinesis, DMS, Lambda )
- Très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.)
- Maitrise des langages : SQL, Python
- Maîtrise des outils de traitement et d’orchestration (Apache Airflow, dbt, Python, SQL)
- Bonne expérience en Terraform pour l’IaC
- Connaissance de GitLab CI/CD pour l’automatisation des déploiements
- Expérience avec des CRM
- Connaissance des problématiques de data quality, modélisation, monitoring et alerting
- Expérience : Justifier d'au moins 6 ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements dans un environnement similaire
- Une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciées
- Langues : Maîtrise de l'anglais courant
- Votre carrière chez Néosoft
- Depuis sa création, Néosoft place ses collaborateurs au cœur de sa stratégie. Notre culture pourrait se résumer en un mot : le collectif.
- Nos communautés d’experts vous donnent la possibilité d’apprendre, mais aussi de transmettre et de partager vos savoirs pour faire progresser les autres.
- Nous veillons à ce que chacun bénéficie d’un accompagnement de proximité et d’un suivi de carrière personnalisé auprès de votre manager dédié:
- 1 bilan d’activité trimestriel pour suivre le développement de vos compétences- 1 entretien d’évaluation qui a lieu chaque année pour évaluer votre performance et déterminer vos nouveaux objectifs- 1 entretien annuel auprès de votre RH dans le but de cartographier vos nouvelles compétences pour échanger sur vos projets professionnels et souhaits de formation
- Vos avantages
- Formations et développement de l’expertise :- Un abonnement illimité LinkedIn Learning offert
- Bien-être au travail:
- Un accord de télétravail flexible et personnalisable en vigueur depuis 2014- Un partenariat avec Gymlib qui favorise le sport en entreprise- Des initiatives locales (afterworks, défis sportifs, team buildings,)
- Et bien plus encore:
- Parce que les meilleurs cooptent les meilleurs, une politique de cooptation attractive rémunérée