Data Engineer Databricks

Il y a 2 mois


Paris, Île-de-France KLETA Temps plein
  1. Conception de l'architecture de données :
  2. Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks.
  3. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier.
  4. Développement de pipelines ETL :
  5. Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks.
  6. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée.
  7. Optimisation des performances :
  8. Optimiser les requêtes Spark pour améliorer les performances des traitements de données.
  9. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark.
  10. Gestion des données en temps réel :
  11. Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming.
  12. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés.
  13. Gestion de la qualité des données :
  14. Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données.
  15. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité.
  16. Sécurité des données :
  17. Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles.
  18. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données.
  19. Automatisation des workflows :
  20. Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification.
  21. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données.
  22. Surveillance et gestion des opérations :
  23. Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring.
  24. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données.
  25. Collaboration avec les équipes métier :
  26. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting.
  27. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks.
  28. Veille technologique :
  29. Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

  • Data Engineer Databricks

    il y a 2 jours


    Paris, Île-de-France KLETA Temps plein

    Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer...

  • Senior Data Engineer

    il y a 4 semaines


    Paris, Ile-de-France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Data Engineer

    il y a 4 semaines


    Paris, Ile-de-France ALFI : Financial Markets Consultancy Services Temps plein

    Le Data Engineer intervient au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning.Votre rôle et vos missions :Vous aurez pour missions principales de...

  • Stage Data Engineer AZURE

    il y a 4 semaines


    Paris, Ile-de-France Tata Consultancy Services Temps plein

    Poste basé à la Défense (92)Durée du stage : 6 moisTata Consultancy Services (TCS) est une société de services informatiques et de conseil qui s'associe depuis 55 ans à de nombreuses entreprises parmi les plus importantes au monde dans leurs parcours de transformation. En tant que membre du groupe Tata, le plus grand groupe multinational de...

  • Data Engineer

    il y a 4 semaines


    Paris, Ile-de-France Beelix Temps plein

    Qui sommes-nous ?Depuis 2016, nous accompagnons nos clients sur des problématiques de Product Management, Data et Design Thinking. Beelix contribue à façonner le monde de demain en participant aux grandes avancées des secteurs suivants:Automobile⚡EnergieMédias & TélécomsLuxe & Retail Banque, Finance & Assurance✈️DéfenseAujourd’hui, Beelix...

  • Data Engineer Senior

    il y a 4 semaines


    Paris, Ile-de-France SoyHuCe|a JAKALA company Temps plein

    SoyHuCe est le Center of Excellence en data/IA de JAKALA.Les équipes SoyHuCe combinent les expertises nécessaires à la création de solution data clé-en-main : collecte, traitement, analyse, algorithmie, exploitation, intégration et UX/UI.SoyHuCe répond ainsi à des cas d’usage variés, dans de multiples secteurs : retail, énergie, loisirs,...

  • Senior Data Engineer

    il y a 4 semaines


    Paris, Ile-de-France QUANT AI Lab Temps plein

    Chez QUANT AI LAB, nous travaillons avec nos clients pour les aider à résoudre leurs problèmes, de la définition de la stratégie à la mise en œuvre de solutions robustes et durables. Nous nous appuyons sur notre approche opérationnelle qui lie conseil et outils.Nous avons le projet d'accompagner nos clients sur le long terme avec nos convictions,...

  • Lead tech data

    il y a 4 semaines


    Paris, Ile-de-France Compagnie des Alpes Temps plein

    La CDA c’est aujourd’hui 10 domaines de montagne parmi les plus beaux des Alpes et 12 parcs de loisirs réputés, mais aussi le 1er réseau d’agences immobilières des Alpes, le 1er tour opérateur de montagne français et de l’activité outdoor…Son objectif ? Permettre à chacun de se reconnecter à soi et aux autres en vivant des moments...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France IEF2I Temps plein

    Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA EngineerAttention: Partenariat exclusif avec notre écoleMissions : Effectuer l'intégration et la...

  • Data Engineer

    il y a 2 jours


    Paris, Île-de-France IEF2I Temps plein

    Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA EngineerAttention: Partenariat exclusif avec notre écoleMissions : Effectuer l'intégration et la...

  • Senior Data Engineer H/F

    il y a 7 jours


    PARIS, 75000, Ile-de-France Believe Temps plein

    Believe est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développementCe sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise,...

  • Lead Data Engineer H-F

    il y a 7 jours


    Paris, Île-de-France Sqorus Temps plein

    Au sein de notre équipe Data & Analytics, vous serez amené à intervenir sur différents contextes projet Data, auprès de métiers diversifiés. En tant que sénior, vous aurez en charge le pilotage et le développement du périmètre Data Engineering.Cadrage de projet : Recueil des besoins auprès des différentes équipes Analyse de l'existant Mise en...

  • Lead Data Engineer H-F

    il y a 2 jours


    Paris, Île-de-France Sqorus Temps plein

    Au sein de notre équipe Data & Analytics, vous serez amené à intervenir sur différents contextes projet Data, auprès de métiers diversifiés. En tant que sénior, vous aurez en charge le pilotage et le développement du périmètre Data Engineering.Cadrage de projet : Recueil des besoins auprès des différentes équipes Analyse de l'existant Mise en...

  • MLOps Engineer

    il y a 1 semaine


    Paris, Ile-de-France Yotta - Expert en recrutement Data, AI & Marketing Temps plein

    MLOps Engineer65K à 75K€Paris, FranceStack : Python, SQL, AWS, Terraform, GitLab CI…Cet acteur historique français développe des solutions d’assurances via une plateforme technique & Data et a pu construire un Data Lab pour traiter l’ensemble des sujets data du groupe.Vous travaillerez au sein de ce DataLab dans une équipe Data Science & Machine...

  • Data engineer

    Il y a 2 mois


    Paris, Île-de-France BlueSoftGroup Temps plein

    Nous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...

  • Data engineer

    il y a 2 jours


    Paris, Île-de-France Blue Soft Temps plein

    Nous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...

  • Data Engineer

    Il y a 2 mois


    Paris, Île-de-France Adevinta Temps plein

    Within a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...

  • Data Engineer

    il y a 2 jours


    Paris, Île-de-France Adevinta Temps plein

    Within a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...

  • Data engineer

    il y a 5 jours


    Paris, Île-de-France RED Commerce - The Global SAP Solutions Provider Temps plein

    RED Global est à la recherche d'un Data Engineer Informatica pour l'un de nos clients sur Paris, mission Freelance. Recherche:Expérience data engineer sur Informatica CloudConnaissances sur ODI, Snowflakes et AWS serait un plus Détails du projet:Démarrage : ASAPDurée : 3 mois renouvelables - FreelanceCharge de travail : 5 jours par semaineLieu :...

  • Data engineer

    il y a 2 jours


    Paris, Île-de-France RED Commerce - The Global SAP Solutions Provider Temps plein

    RED Global est à la recherche d'un Data Engineer Informatica pour l'un de nos clients sur Paris, mission Freelance. Recherche:Expérience data engineer sur Informatica CloudConnaissances sur ODI, Snowflakes et AWS serait un plus Détails du projet:Démarrage : ASAPDurée : 3 mois renouvelables - FreelanceCharge de travail : 5 jours par semaineLieu :...