Data Engineer-e Spark
Il y a 6 jours
Nantes, Pays de la Loire, France
Collective.work
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Taux journalier (TJM): 440
MODALITÉS
* Démarrage : ASAP
* Durée : 12 mois renouvelable
* Localisation : Nantes (3 jours de TT) CONTEXTE Nous recherchons un-e Data Engineer pour le compte d'un grand acteur français de la mobilité, éditeur d'une plateforme digitale à très fort trafic. Vous rejoindrez une équipe dédiée à la gestion et à l'exploitation des données, au sein d'une architecture moderne de type Lakehouse / Medallion. VOS MISSIONS
* Concevoir, développer et optimiser des pipelines de données
* Développer et industrialiser les traitements en Spark/PySpark, Python, SQL et dbt
* Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion (couches bronze, silver, gold)
* Orchestrer les traitements avec Airflow
* Déployer et maintenir les traitements sur AWS
* Contribuer à l'Infrastructure as Code avec Terraform ENVIRONNEMENT TECHNIQUE Spark / PySpark
- Python
- SQL
- dbt
- Apache Iceberg
- Airflow
- AWS
- Terraform
Profil recherché
* Expérience confirmée en Data Engineering sur des volumes importants
* Maîtrise de Spark/PySpark et de dbt en contexte de production
* Pratique d'AWS et de Terraform
* Une première expérience sur Iceberg ou sur une architecture Lakehouse est un vrai plus
* Autonomie, rigueur et goût du travail en équipe
Experience:
Débutant accepté
* Démarrage : ASAP
* Durée : 12 mois renouvelable
* Localisation : Nantes (3 jours de TT) CONTEXTE Nous recherchons un-e Data Engineer pour le compte d'un grand acteur français de la mobilité, éditeur d'une plateforme digitale à très fort trafic. Vous rejoindrez une équipe dédiée à la gestion et à l'exploitation des données, au sein d'une architecture moderne de type Lakehouse / Medallion. VOS MISSIONS
* Concevoir, développer et optimiser des pipelines de données
* Développer et industrialiser les traitements en Spark/PySpark, Python, SQL et dbt
* Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion (couches bronze, silver, gold)
* Orchestrer les traitements avec Airflow
* Déployer et maintenir les traitements sur AWS
* Contribuer à l'Infrastructure as Code avec Terraform ENVIRONNEMENT TECHNIQUE Spark / PySpark
- Python
- SQL
- dbt
- Apache Iceberg
- Airflow
- AWS
- Terraform
Profil recherché
* Expérience confirmée en Data Engineering sur des volumes importants
* Maîtrise de Spark/PySpark et de dbt en contexte de production
* Pratique d'AWS et de Terraform
* Une première expérience sur Iceberg ou sur une architecture Lakehouse est un vrai plus
* Autonomie, rigueur et goût du travail en équipe
Experience:
Débutant accepté