Data Engineer Databricks

il y a 2 semaines

Paris, Île-de-France KLETA Temps plein
**Conception de l'architecture de données**:
Concevoir et mettre en ?uvre une architecture de données robuste et évolutive sur la plateforme Databricks.

Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier.

**Développement de pipelines ETL**:
Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks.

Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée.

**Optimisation des performances**:
Optimiser les requêtes Spark pour améliorer les performances des traitements de données.

Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark.

**Gestion des données en temps réel**:
Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming.

Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés.

**Gestion de la qualité des données**:
Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données.

Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité.

**Sécurité des données**:
Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles.

Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données.

**Automatisation des workflows**:
Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification.

Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données.

**Surveillance et gestion des opérations**:
Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring.

Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données.

**Collaboration avec les équipes métier**:
Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting.

Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks.

**Veille technologique**:
Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Nous recherchons pour ce poste, une personne ayant une connaissance complète de l'environnement Azure, Databricks pour intervenir au sein de la plateforme mise en place.

  • data engineer databricks

    il y a 7 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Je recherche pour un de mes clients un Data Engineer Databricks : Compétences Techniques : Maîtrise de Databricks et des concepts de big data. Expérience avec Apache Spark, y compris l'écriture de code en PySpark, Scala ou SQL. Connaissance des systèmes de gestion de bases de données relationnelles et non relationnelles (SQL, NoSQL). Familiarité...

  • Senior Data Engineer Databricks

    il y a 5 jours

    Paris, Ile-de-France VISIAN Temps plein

    La Direction des Systèmes d’Information de notre client grand compte dans l’énergie recherche un profil Data Engineer Databricks Senior pour concevoir, développer et maintenir les architectures Data nécessaires à l’exploitation de ses données par les analystes métiers et data scientists.Le Data Engineer Senior intègre une équipe en charge du...

  • Senior Data Engineer

    il y a 5 jours

    Paris, Ile-de-France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Big Data Solutions Architect

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    CSQ225R84As a Big Data Solutions Architect (Resident Solutions Architect) in our Professional Services team you will work with clients on short to medium term customer engagements on their big data challenges using the Databricks Data Intelligence Platform. You will provide data engineering, data science, and cloud technology projects which require...

  • AI Security Engineer

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    While candidates in the listed location(s) are encouraged for this role, candidates in other locations will be considered. Through rigorous testing, analysis, and research, we aim to identify potential vulnerabilities, biases, and risks associated with AI models, thereby fostering the creation of trustworthy and robust AI solutions. By advocating for...

  • data engineer scala

    il y a 3 jours

    Paris, Île-de-France AXONE DATA Temps plein

    Fiche de Poste : Data Engineer ScalaDescription du PosteEn tant que Data Engineer spécialisé en Spark et Scala, vous intégrerez notre équipe technique pour concevoir, développer et optimiser des solutions de traitement de données massives. Vous serez amené à travailler principalement sur des projets batch et à utiliser des technologies de pointe...

  • Senior Solutions Engineer

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    [FEQ325R50]At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a...

  • Big Data Solutions Architect

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    CSQ225R84As a Big Data Solutions Architect (Resident Solutions Architect) in our Professional Services team you will work with clients on short to medium term customer engagements on their big data challenges using the Databricks Data Intelligence Platform. You will provide data engineering, data science, and cloud technology projects which require...

  • Data Engineer Azure Databricks

    il y a 1 semaine

    Paris, Île-de-France KLETA Temps plein

    Concevoir, développer et maintenir des pipelines de données ETL/ELT sur Azure Databricks. Optimiser les performances des pipelines de données pour assurer une ingestion et une transformation des données efficaces. Collaborer avec les data scientists et les analystes pour comprendre les besoins en données et fournir des solutions adaptées. Assurer...

  • Enterprise Account Executive, Retail

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    Databricks operates at the leading edge of the Unified Data Analytics and AI space. Our customers turn to us to drive the accelerated innovation that their businesses need to gain first mover advantage in today's ultra competitive landscape. Do you want to help solve the world's toughest problems with big data and AI? This is what we do everyday at...

  • Solutions Architect

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make informed decisions that push their business forward. We provide a user-friendly and...

  • Enterprise Account Executive, Cpg

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    SLSQ425R12Databricks operates at the leading edge of the Unified Data Analytics and AI space. Our customers turn to us to drive the accelerated innovation that their businesses need to gain first mover advantage in today's ultra competitive landscape. Do you want to help solve the world's toughest problems with big data and AI? This is what we do everyday at...

  • Strategic Account Executive, Energy

    il y a 2 semaines

    Paris, Île-de-France DataBricks Temps plein

    SLSQ425R73Do you want to help solve the world's toughest problems with big data and AI? This is what we do every day at Databricks.We are looking for a Strategic Account Executive to join the team in France to maximise the phenomenal market opportunity that exists for Databricks within the Energy & Utilities industry. Your mission will be to grow one of our...

  • Senior Data Engineer

    il y a 3 jours

    Paris, Ile-de-France Dataworks Temps plein

    Senior Data Engineer (Databricks + Azure) **Recrutement sur profil**Paris, France45€k-55€kTECH STACK : Azure, Fabric, Python, Spark, Databricks, SQLLA SOCIÉTÉ :Reconnue comme une des agences data de référence, la société développe une expertise R&D sur les outils Microsoft (BI, Cloud, Data) et Databricks.Actuellement composée d’une 60aine de...

  • Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Believe Temps plein

    Believe est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et de leur développement.Ce sont plus de 1919 salariés dans plus de 50 pays qui accompagnent les artistes avec...

  • Director, Enterprise Sales

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    Databricks operates at the leading edge of the Unified Data Analytics space and our customers turn to us to drive the accelerated innovation that their businesses need to gain first mover advantage in today's ultra competitive landscape.Due to exceptional success in Southern Europe, we are looking to hire a Senior Sales Director to join our world-class sales...

  • Senior Data engineer

    il y a 2 semaines

    Paris, Île-de-France Mindquest Temps plein

    Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer.Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur...

  • Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Beelix Temps plein

    Qui sommes-nous ?Depuis 2016, nous accompagnons nos clients sur des problématiques de Product Management, Data et Design Thinking. Beelix contribue à façonner le monde de demain en participant aux grandes avancées des secteurs suivants: AutomobileEnergie Médias & Télécoms Luxe & Retail Banque, Finance & AssuranceDéfenseAujourd'hui, Beelix compte plus...

  • Enterprise Account Executive, New Business

    il y a 2 semaines

    Paris, Île-de-France Databricks Temps plein

    SLSQ425R65Do you want to help solve the world's toughest problems with big data and AI? This is what we do every day at Databricks.Reporting to the Team Leader, Enterprise, as a new business Enterprise Account Executive, you are an enterprise sales professional experienced in selling into and opening new logo Enterprise accounts. You know how to sell...

  • Specialist Solutions Architect

    il y a 2 semaines

    Paris, Île-de-France Databricks Inc. Temps plein

    As a Specialist Solutions Architect (Data engineering), you will guide the technical evaluation phase in a hands-on environment throughout the sales process. As a go-to-expert reporting to the Specialist Field Engineering Manager, you will continue to strengthen your technical skills through mentorship, learning, and internal training programs and establish...