Data manager
Il y a 2 jours
SaintDenis, DOM-TOM, France
Temps plein
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Description du poste
Le présent appel d'offre a pour objet la sélection d'un Data Engineer Senior afin d'accompagner le pôle Data Services de notre client secteur transport public dans la conception, l'industrialisation et l'évolution de ses solutions data.*Concevoir, développer et optimiser des pipelines de données à grande échelle*Mettre en œuvre des flux batch, streaming et ingestion via API*Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)*Développer et industrialiser les pipelines via DBT, Spark et Iceberg***Contribuer à l'évolution de l'architecture Lakehouse Livrables*Déployer et maintenir les pipelines dans un environnement cloud ( AWS ou équivalent)*Orchestrer les workflows ETL/ELT via Airflow*Mettre en œuvre l'Infrastructure as Code ( Terraform Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)*Garantir la disponibilité, la supervision et l'observabilité des traitements*Participer à la gestion des incidents et à l'amélioration continue*Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)*Documenter les architectures, pipelines et règles métier*Garantir la conformité des flux, notamment dans le cadre RGPD Description du profil 8 années minimum d'expérience en Data Engineering*Une maîtrise avancée des architectures Big Data et Lakehouse*Expertise réelle sur Spark, DBT, Iceberg, AWS et Terraform*Maîtrise des services AWS (Glue, EMR, S3 Connaissance de Trino/Starburst, Datadog*Forte capacité d'analyse, rigueur, autonomie et culture de l'amélioration continue
Experience:
11 An(s)