Data Engineer Databricks
Il y a 2 mois
Conception de l'architecture de données :
Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks.
Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier.
Développement de pipelines ETL :
Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks.
Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée.
Optimisation des performances :
Optimiser les requêtes Spark pour améliorer les performances des traitements de données.
Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark.
Gestion des données en temps réel :
Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming.
Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés.
Gestion de la qualité des données :
Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données.
Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité.
Sécurité des données :
Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles.
Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données.
Automatisation des workflows :
Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification.
Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données.
Surveillance et gestion des opérations :
Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring.
Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données.
Collaboration avec les équipes métier :
Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting.
Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks.
Veille technologique :
Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.
-
Customer Data Engineer
il y a 2 semaines
Paris, France Databricks Temps pleinCSQ125R106 At Databricks, we are on a mission to empower our customers to solve the world's toughest data problems by utilizing the Data Intelligence platform. As a Customer Data Engineer (Technical Services Engineer), you will play a critical role in advising Customers in their onboarding journey. You will directly work with customers to help them onboard...
-
Data Engineer Databricks
il y a 4 semaines
Paris, France CBC CONSULT Temps pleinCBC Consult recrute pour le compte de son client basé Région Parisienne, un / une Data Engineer DataBricks confirmé (5 ans mini) pour une mission Freelance ou en portage salarial. Demarrage asap Pas de sous-traitance que Freelance ou Portage Salariale Remote partiel 2 jours / sem + 3 jours sur site client Niveau Ingénieur ou BAC+5 5 à 15 ans...
-
Data Engineer Databricks
il y a 1 mois
Paris, France VISIAN Temps pleinData Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir...
-
Data Engineer Databricks
il y a 1 jour
Paris, France VISIAN Temps pleinData Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir...
-
Senior Specialist Solutions Engineer
il y a 2 jours
Paris, France Databricks Temps pleinAs a Senior Specialist Solutions Engineer (data engineering, analytics, AI/ML/DS, big data, public cloud), you will guide the technical evaluation phase in a hands-on environment throughout the sales process. You will be an important part of the sales team, being a technical advisor, and working with the product team as an advocate of your customers in the...
-
Specialist Solutions Architect
il y a 2 semaines
Paris, France Databricks Temps plein(FEQ125R111) Mission At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. Join us in our quest to change how people work with data and make a better world! As a Specialist...
-
Senior Data Engineer
il y a 4 semaines
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Senior Data Engineer
il y a 4 semaines
Paris, Ile-de-France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...
-
Senior Data Engineer
il y a 4 semaines
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et à...
-
Senior Data Engineer
il y a 2 jours
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery . La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets...
-
Senior Data Engineer
il y a 2 jours
Paris, France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et à...
-
Data Engineer Databricks
Il y a 2 mois
Paris, Île-de-France KLETA Temps pleinConception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer...
-
Data Engineer Databricks
il y a 2 jours
Paris, Île-de-France KLETA Temps pleinConception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer...
-
Specialist Solutions Architect
il y a 4 semaines
Paris, France Databricks Temps plein(FEQ125R111)MissionAt Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. Join us in our quest to change how people work with data and make a better world!As a Specialist...
-
Data Engineer Databricks
il y a 1 mois
Paris, France VISIAN Temps pleinData Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud.Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks.Une connaissance d'informatica et AWS est très appréciée.Le candidat doit maitriser le langage SQL et Python et avoir une bonne...
-
Data Engineer Databricks
il y a 1 jour
Paris, France VISIAN Temps pleinData Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud.Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks.Une connaissance d'informatica et AWS est très appréciée.Le candidat doit maitriser le langage SQL et Python et avoir une bonne...
-
Big Data Solutions Architect
il y a 1 semaine
Paris, France Databricks Temps pleinCSQ225R62 As a Big Data Solutions Architect (Resident Solutions Architect) in our Professional Services team you will work with clients on short to medium term customer engagements on their big data challenges using the Databricks Data Intelligence Platform. You will provide data engineering, data science, and cloud technology projects which require...
-
Senior Solutions Engineer
Il y a 2 mois
Paris, France Databricks Temps pleinAt Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a user-friendly and...
-
Senior Solutions Engineer
Il y a 2 mois
Paris, France Databricks Temps pleinAt Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a user-friendly and...
-
Senior Solutions Engineer
il y a 1 mois
Paris, France Databricks Temps pleinAt Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a user-friendly and...
