Data Engineer Databricks
il y a 6 heures
En tant que Data Engineer, vous intervenez sur la conception, le développement et l?optimisation de pipelines de données robustes et scalables. Vous travaillez au c?ur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science.
Expérience attendue : 3 à 8+ ans en ingénierie Data.
Vous correspondez au/à la Data Engineer que nous recherchons si :
Vous évoluez efficacement au sein d?équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers
Vous faites preuve d?un fort esprit analytique et d?une grande rigueur
Vous êtes autonome, proactif et doté d?un solide sens des responsabilités
Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques
Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements
Vous disposez d?un bon esprit de synthèse et êtes orienté résultats et valeur métier
Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse
Vous avez déjà travaillé sur des plateformes Data modernes (Cloud)
Vous maîtrisez SQL comme langage d?interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile ?)
Vous disposez d?un bagage en software engineering, vous permettant d?écrire un code robuste, lisible, maintenable et testable, notamment en Python
Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage
Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d?intégration, revue de code)
Vous êtes à l?aise avec les outils de versioning (Git) et les workflows collaboratifs associés
Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l?évolutivité et de l?observabilité
Profil candidat:
Compétences techniques attendues autour de la plateforme Databricks :
Bonne maîtrise de la plateforme Databricks dans un contexte Data Engineering
Utilisation avancée d?Apache Spark via PySpark et Spark SQL pour le développement de pipelines Data
Connaissance de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel...)
Maîtrise des différentes méthodes d'ingestion de données de la plateforme
Connaissance et implémentation du framework Spark Declarative Pipelines
Mise en place de stratégies de tests automatisés pour les pipelines incluant :
Tests unitaires (ex. pytest),
Contrôles de qualité des données (DQX, SDP Expectations)
Certifications recommandées :
Databricks Certified Data Engineer Associate (ou équivalent)
-
Data Engineer Databricks/Azure
Il y a 35 minutes
Lyon, Auvergne-Rhône-Alpes, France Collective Temps pleinBudget: 420Offre d'emploiIntitulé du posteData Engineer Databricks/AzureDescription Du PosteNous recherchons un Data Engineer ayant une expérience dans la mise en place de cas d'usage IA et capable de travailler en collaboration avec les Data Scientists.Secteur d'activitéNucléaireProfil recherchéExpérience avec Databricks et AzureExpérience dans le...
-
Senior Data Engineer Databricks H/F
il y a 9 heures
Lyon, Auvergne-Rhône-Alpes, France Devoteam Data Driven Temps pleinAgence multi spécialiste composée de 350 collaborateurs répartis en communautés d'experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des processus métiers.Data Driven...
-
Data Ingénieur Databricks F/H
il y a 7 heures
Lyon, Auvergne-Rhône-Alpes, France Devoteam Data Driven Temps pleinDescription de l'entrepriseAvec près de collaborateurs à travers le monde, nous accompagnons les entreprises dans leur transformation numérique. Nous imaginons et concrétisons leurs ambitions grâce aux possibilités infinies des plateformes digitales, pour faire évoluer leur culture et leur mode de travail, et créer de la valeur dans leurs...
-
Tech Lead Databricks
il y a 6 heures
Lyon, Auvergne-Rhône-Alpes, France KOMEET TECHNOLOGIES Temps pleinEn tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d?ingestion, de traitement et d?industrialisation des données sur la data plateforme. Sans être responsable de l?architecture Data globale, vous avez un rôle clé dans la qualité des livrables,...
-
Data Engineer
il y a 3 heures
Lyon, Auvergne-Rhône-Alpes, France Collective Temps pleinBudget: 450/500Data EngineerÀ propos du rôleNous recherchons un Data Engineer pour rejoindre notre équipe et participer activement à la structuration de notre pôle Data Engineering.Expérience requise5 à 7 ans en Data EngineeringStack techniqueCloud : Microsoft AzureData Platform : DatabricksLangages : Python, PySpark, SQLActivités &...
-
Data Engineer F/H migration Databricks
Il y a 60 minutes
Lyon, Auvergne-Rhône-Alpes, France Devoteam Temps pleinDescription de l'entreprise Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d'experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft, Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des...
-
Data Engineer
il y a 5 heures
Lyon, Auvergne-Rhône-Alpes, France Free-Work Temps pleinTon quotidien chez Komeet sera rythmé par :Animation des ateliers afin d'étudier et cadrer les besoins clientsPréconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse )Rédaction de dossiers d'architecture et spécifications techniquesMise en œuvre des stratégies d'exploitation de plateformes DataConstruction...
-
Data Architect Databricks F/H
il y a 3 heures
Lyon, Auvergne-Rhône-Alpes, France Devoteam Temps pleinDescription de l'entreprise Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d'experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (aws, microsoft google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des...
-
Senior Data Engineer Databricks H/F
il y a 8 heures
Lyon, Auvergne-Rhône-Alpes, France Devoteam Temps pleinDescription de l'entreprise Agence multi spécialiste composée de 350 collaborateurs répartis en communautés d'experts, Devoteam Lyon accompagne les DSI dans leur transformation digitale, avec un focus sur les nouvelles technologies comme le cloud (AWS, Microsoft Google), l'intelligence artificielle, la cybersécurité, la data, et l'automatisation des...
-
Data Engineer
il y a 9 heures
Lyon, Auvergne-Rhône-Alpes, France Free-Work Temps pleinCITECH recrute Dans le cadre du renforcement de son pôle dédié à l'architecture, la valorisation et l'exploitation de la donnée, une grande entreprise nationale du secteur de l'énergie recherche unData Engineer / Data Analyst (H/F).L'objectif : contribuer à la fiabilité, la qualité et l'analyse des données nécessaires à la gestion des réseaux,...
