DATA ENGINEER AZURE DATABRICKS SENIOR
Il y a 3 jours
BoulogneBillancourt, Ile-de-France
Tech4KIN
Temps plein
55 000 € - 60 000 € Contrat
Gratuit avec email ou Google
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
Gratuit avec email ou Google
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Description du poste
Dans le cadre du développement de nos activités, nous recherchons un Data Engineer confirmé disposant d'une solide expérience sur l'environnement Azure Databricks. Vous interviendrez sur des projets Data avec pour objectif de concevoir, développer et optimiser des solutions de traitement et de valorisation des données dans un environnement Cloud. Vous travaillerez en collaboration avec les équipes techniques et métiers afin de garantir la fiabilité, la qualité et la performance des solutions mises en place. Vos missions
• Concevoir, développer et maintenir des pipelines de données sur Azure Databricks.
• Développer des traitements de données avec Python et PySpark.
• Mettre en place des flux d'ingestion et de transformation de données (ETL/ELT).
• Participer à la conception et à l'évolution des architectures Data.
• Travailler sur des environnements Lakehouse et Delta Lake.
• Exploiter et optimiser les données stockées sur Azure Data Lake Storage (ADLS).
• Assurer la qualité, la fiabilité et la sécurité des données.
• Optimiser les performances des traitements et des pipelines.
• Participer à l'industrialisation des développements et à la mise en place de processus CI/CD.
• Collaborer avec les différentes équipes techniques et métiers.
Profil recherché
Vous justifiez d'au moins 5 ans d'expérience en Data Engineering et avez une bonne maîtrise de l'environnement Azure/ Databricks. Vous possédez les compétences techniques suivantes :
• Bonne maîtrise d'Azure Databricks.
• Maîtrise de Python et PySpark.
• Très bonne connaissance de SQL.
• Expérience dans le développement de pipelines ETL/ELT.
• Connaissance d'Azure Data Lake Storage (ADLS Gen2).
• Maîtrise de Delta Lake et des architectures Lakehouse.
• Connaissance des outils de versioning et d'industrialisation (Git, Azure DevOps, CI/CD). La connaissance d'Azure Data Factory est un plus. Nous recherchons une personne autonome, rigoureuse et capable de prendre en charge des sujets techniques tout en étant force de proposition.
• Type de contrat : CDI
• Expérience requise : 5 ans minimum
• Rémunération : 55 000 à 60 000 € brut annuel selon profil
• Environnement technique : Azure Databricks, Python, PySpark, SQL, ADLS, Delta Lake
• Localisation : Boulogne Billancourt.
• Télétravail : À préciser