Data engineer Databricks

Il y a 3 jours

Paris, Nouvelle-Aquitaine, France Hexateam Temps plein 65 000 € - 90 000 € Contrat

Gratuit avec email ou Google

Enregistrez cette offre et organisez votre recherche

Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.

Gratuit avec email ou Google

Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe
Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels
Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.
Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)
Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API
Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations

Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers
Mettre en œuvre et orchestrer les traitements de données avec Databricks
Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance
Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution
Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD
Concevoir, développer et maintenir des API pour l’exposition et la consommation des données
Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting
Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives
Rédiger et maintenir la documentation technique des solutions mises en œuvre
Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering