Data Engineer

il y a 1 semaine

Paris, France Trait d'Union Consulting Temps plein

Notre client souhaite renforcer son équipe DataPlatform.

Vous rejoindrez une équipe composée de 3 Data Engineer, 1 DB Admin, 1 Responsbale BI, 1 Product Owner appuyé par des DevOps mettant à disposition les infrastructures de gestion de la donnée.

Vous aurez la charge de 3 principales missions:
1° Implémentation de nouveaux flux de données sur AWS & Terraform avec Python/Airflow (COLD et STREAMING)
- Implémentation des flux de données de l?extraction à l?exposition des données via Python/Airflow Managé ou avec Nifi pour les données « cold » et « streaming »

2° On vous demandera pour chacun des projets:

- Code Review entre les data engineers
- Réalisation des tests unitaire, de non-régression et d?intégration
- Mise à jour de la documentation sous Confluence
- Mettre à jour la documentation dans confluence.
- Réaliser les tests unitaires et d?intégration.
- Respecter les bonnes pratiques de développements

3° Maintenance corrective des flux de données

1 à 2 jrs de remote

Localisé Paris 12e

En terme d'environnement:

- AWS, Terraform, ingestion dans Datawarehouse Snowflake.
- Nifi pour l?ingestion sur du Kafka/API et AWS Lambda sous Python et Airflow.
- SQS/SNS/Snowpipe (Snowflake)
- Gitlab et CI/CD.

  • Data Engineer

    il y a 1 semaine

    Paris, Île-de-France MP Data Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables. Vos...

  • Data Engineer

    il y a 2 semaines

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 2 semaines

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer

    il y a 2 semaines

    Paris, France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Graduate Data Engineer

    il y a 1 semaine

    Paris, Île-de-France Data Reply Temps plein

    Graduate Data EngineerTasks• Implementing new use cases• Mapping data and data flows• Implementing data analysis and processing pipelines• Industrializing data flows and their visualization through dashboards and reporting• Carrying out unit tests and integration tests  Benefits• Structured career progression – at Reply, we encourage career...

  • Data Platform Engineer

    il y a 2 semaines

    Paris, France Data Recrutement Temps plein

    Une entreprise de services numériques est à la recherche d'un Data Platform Engineer pour travailler sur des plateformes critiques dans le secteur bancaire. Le poste require environ 3 ans d'expérience, une expertise en Kubernetes et des connaissances en outils Big Data comme Spark et Airflow. Ce rôle offre une rémunération compétitive de 55-60K€ et...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 2 semaines

    Paris, Île-de-France Mp Data Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l'un de nos clients, nous recherchons un LLM Engineer chargé d'industrialiser les POC GenAI développés par les équipes Data Science et de déployer des solutions robustes et scalables en production.Développement et Industrialisation des POC LLM / GenAI.Conception et optimisation de...

  • Data Engineer | ESN high level

    il y a 2 semaines

    Paris, France Data Recrutement Temps plein

    L'ENTREPRISE : ESN DATA EN FORTE CROISSANCE Magnifique ESN créée il y a quelques années par des experts du secteur IT, avec déjà plus de 70 consultants en mission et une croissance soutenue ! Elle accompagne aujourd’hui de grands comptes (banque, assurance, énergie, environnement) ainsi que de nouveaux secteurs comme les Life Sciences. Sa...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l'un de nos clients, nous recherchons unLLM Engineerchargé d'industrialiser lesPOC GenAIdéveloppés par les équipes Data Science et de déployer des solutions robustes et scalables en production.Développement et Industrialisation des POC LLM / GenAI.Conception et optimisation de...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 2 semaines

    Paris, France MP DATA Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l’un de nos clients, nous recherchons un LLM Engineer chargé d’industrialiser les POC GenAI développés par les équipes Data Science et de déployer des solutions robustes et scalables en production. Responsabilités Développement et Industrialisation des POC LLM / GenAI....