DATA ENGINEER AZURE DATABRICKS SENIOR

Il y a 3 jours

BoulogneBillancourt, Ile-de-France Tech4KIN Temps plein 55 000 € - 60 000 € Contrat


Description du poste
Dans le cadre du développement de nos activités, nous recherchons un Data Engineer confirmé disposant d'une solide expérience sur l'environnement Azure Databricks. Vous interviendrez sur des projets Data avec pour objectif de concevoir, développer et optimiser des solutions de traitement et de valorisation des données dans un environnement Cloud. Vous travaillerez en collaboration avec les équipes techniques et métiers afin de garantir la fiabilité, la qualité et la performance des solutions mises en place. Vos missions
• Concevoir, développer et maintenir des pipelines de données sur Azure Databricks.
• Développer des traitements de données avec Python et PySpark.
• Mettre en place des flux d'ingestion et de transformation de données (ETL/ELT).
• Participer à la conception et à l'évolution des architectures Data.
• Travailler sur des environnements Lakehouse et Delta Lake.
• Exploiter et optimiser les données stockées sur Azure Data Lake Storage (ADLS).
• Assurer la qualité, la fiabilité et la sécurité des données.
• Optimiser les performances des traitements et des pipelines.
• Participer à l'industrialisation des développements et à la mise en place de processus CI/CD.
• Collaborer avec les différentes équipes techniques et métiers.

Profil recherché
Vous justifiez d'au moins 5 ans d'expérience en Data Engineering et avez une bonne maîtrise de l'environnement Azure/ Databricks. Vous possédez les compétences techniques suivantes :
• Bonne maîtrise d'Azure Databricks.
• Maîtrise de Python et PySpark.
• Très bonne connaissance de SQL.
• Expérience dans le développement de pipelines ETL/ELT.
• Connaissance d'Azure Data Lake Storage (ADLS Gen2).
• Maîtrise de Delta Lake et des architectures Lakehouse.
• Connaissance des outils de versioning et d'industrialisation (Git, Azure DevOps, CI/CD). La connaissance d'Azure Data Factory est un plus. Nous recherchons une personne autonome, rigoureuse et capable de prendre en charge des sujets techniques tout en étant force de proposition.
• Type de contrat : CDI
• Expérience requise : 5 ans minimum
• Rémunération : 55 000 à 60 000 € brut annuel selon profil
• Environnement technique : Azure Databricks, Python, PySpark, SQL, ADLS, Delta Lake
• Localisation : Boulogne Billancourt.
• Télétravail : À préciser