Data Engineer-e Spark

Il y a 6 jours

Nantes, Pays de la Loire, France Collective.work Temps plein
Taux journalier (TJM): 440 MODALITÉS
* Démarrage : ASAP
* Durée : 12 mois renouvelable
* Localisation : Nantes (3 jours de TT) CONTEXTE Nous recherchons un-e Data Engineer pour le compte d'un grand acteur français de la mobilité, éditeur d'une plateforme digitale à très fort trafic. Vous rejoindrez une équipe dédiée à la gestion et à l'exploitation des données, au sein d'une architecture moderne de type Lakehouse / Medallion. VOS MISSIONS
* Concevoir, développer et optimiser des pipelines de données
* Développer et industrialiser les traitements en Spark/PySpark, Python, SQL et dbt
* Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion (couches bronze, silver, gold)
* Orchestrer les traitements avec Airflow
* Déployer et maintenir les traitements sur AWS
* Contribuer à l'Infrastructure as Code avec Terraform ENVIRONNEMENT TECHNIQUE Spark / PySpark
- Python
- SQL
- dbt
- Apache Iceberg
- Airflow
- AWS
- Terraform

Profil recherché
* Expérience confirmée en Data Engineering sur des volumes importants
* Maîtrise de Spark/PySpark et de dbt en contexte de production
* Pratique d'AWS et de Terraform
* Une première expérience sur Iceberg ou sur une architecture Lakehouse est un vrai plus
* Autonomie, rigueur et goût du travail en équipe

Experience:
Débutant accepté