Data Engineer Senior
Il y a 24 heures
SaintDenis, Île-de-France
ASAP TECHNOLOGIES
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l?industrialisation et l?évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d?architecture, de modélisation et d?optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d?ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l?évolution de l?architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en ?uvre l?Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l?observabilité des traitements. Participer à la résolution des incidents et à l?amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD. Profil candidat: Vous justifiez d?au moins 10 ans d?expérience en Data Engineering, avec une expertise avancée des architectures Big Data et Lakehouse. Vous êtes capable d?intervenir sur les choix d?architecture tout en restant pleinement opérationnel sur le développement et l?industrialisation des traitements. Compétences indispensables : DBT Apache Iceberg AWS, notamment Glue, EMR et S3 Python Apache Spark Modélisation Médaillon : Bronze / Silver / Gold Compétences complémentaires attendues : Terraform et Airflow. Docker, Kubernetes et pratiques CI/CD. Qualité des données, tests automatisés et supervision. Connaissance de Trino/Starburst et Datadog appréciée. Nous recherchons des personnes autonomes et rigoureuses, capables de comprendre les enjeux métiers, de proposer des solutions adaptées et de contribuer à l?amélioration continue. Intéressé(e) ? Transmettez-nous votre CV en précisant votre disponibilité, vos prétentions salariales ou votre TJM, ainsi que vos expériences sur DBT et Apache Iceberg.