Data Engineer Senior

Il y a 1 semaine

Paris, Nouvelle-Aquitaine, France Onyx-Conseil Temps plein

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse.

1 Data Engineer Senior

Missions principales :

  • Concevoir, développer et optimiser des pipelines de données à grande échelle
  • Mettre en œuvre des flux batch, streaming et ingestion via API
  • Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold)
  • Développer et industrialiser les pipelines avec DBT, Spark et Iceberg
  • Contribuer à l’évolution et à l’optimisation de l’architecture Lakehouse
  • Déployer et maintenir les pipelines dans un environnement Cloud AWS
  • Orchestrer les workflows ETL / ELT avec Airflow
  • Mettre en œuvre l’Infrastructure as Code avec Terraform
  • Travailler sur des environnements conteneurisés avec Docker / Kubernetes
  • Garantir la disponibilité, la supervision et l’observabilité des traitements
  • Participer à la gestion des incidents et à l’amélioration continue
  • Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés
  • Documenter les architectures, pipelines et règles métier
  • Garantir la conformité des flux, notamment dans le respect des exigences RGPD

Environnement technique :

  • DBT / Data Catalog
  • Apache Spark
  • Apache Iceberg
  • AWS : Glue, EMR, S3…
  • Terraform
  • Airflow
  • Python
  • Trino / Starburst
  • Datadog
  • Docker / Kubernetes
  • Big Data / Lakehouse
  • Modélisation et collecte de données

Profil recherché :

  • Minimum 8 ans d’expérience en Data Engineering
  • Expertise confirmée des architectures Big Data et Lakehouse
  • Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform
  • Solide expérience sur les services AWS, notamment Glue, EMR et S3
  • Connaissance de Trino / Starburst et Datadog
  • Bon niveau en Python
  • Forte capacité d’analyse et de compréhension des enjeux métiers
  • Expérience dans l’accompagnement et l’encadrement de profils juniors
  • Autonomie, rigueur et forte culture de l’amélioration continue

Contexte :

  • Environnement Data à grande échelle
  • Projets autour de la modernisation et de l’industrialisation des plateformes Data
  • Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud
  • Collaboration avec des équipes Data, IT et métiers

Localisation : Île-de-France – Hybride

Télétravail : 3 jours par semaine

Démarrage : fin août 2026

Mission longue durée

#J-18808-Ljbffr