Data Engineer Databricks

il y a 1 semaine


Malakoff, France Confirm IT Group Temps plein

**CONTEXTE**:
La mission aura lieu dans le Département DATA, équipe BI à la direction Technologie

**Contexte du projet**:
Intégré à l?équipe agile BI composée de 8 personnes au sein de la direction Data l'Ingénieur de données aura pour mission de jouer un rôle clé dans la mise en place du socle technique relative à l?alimentation de la nouvelle data plateforme, en se focalisant sur l'utilisation de Databricks. Il devra apporter son expertise issue de missions précédentes pour contribuer au développement, à la maintenance et à l'optimisation des solutions basées sur cette plateforme.

La maîtrise de la langue anglaise est requise pour communiquer efficacement avec les équipes internationales.

**DESCRIPTION DE LA MISSION**:
**Objectifs de la mission**:
**? Conception et développement des pipelines de données**: Concevoir et développer des pipelines de données efficaces et évolutifs sur la plateforme Databricks, en utilisant des langages de programmation Python(Pyspark) et SQL.

**? Optimisation des performances**: Optimiser les pipelines de données déjà développés pour garantir des performances optimales, savoir mettre en place du partitionnement. Proposer des améliorations sur la gestion des clusters, de l?ordonnancement des traitements.

**? Documentation et standardisation**: Contribuer à la documentation et à la standardisation des architectures, des processus et des bonnes pratiques pour assurer la cohérence et la pérennité des solutions mises en place.

**? Formation et support**: Fournir une aide et un support aux autres membres de l'équipe sur l'utilisation de Databricks et des pipelines de données développés.

**Localisation**:
Le poste sera basé à Malakoff

Le travail à distance pourrait être envisagée à raison de 2 jours/semaine.

**Compétences attendues**:
? Excellente maîtrise de Databricks, PySpark et de SQL.

? Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure data factory).

? Connaissance approfondie des concepts de Big Data et des architectures distribuées.

? Expérience démontrée dans des migrations de systèmes legacy vers Databricks.

? Familiarité avec les outils de gestion de versions comme Azure Devops ou Git.

? Capacité à travailler dans un environnement Agile.

**? Anglais**: FLUENT

**SÉNIORITÉ REQUISE**:
**? 5 à 10 ans d?expérience (Confirmed)**: Grade 3

**? 10 à 15 ans d?expérience (Advanced)**: Grade 4

**CALENDRIER**:
La mission commencera ASAP pour 3 mois potentiellement renouvelable.


  • Architecte Data Databricks

    il y a 2 semaines


    Malakoff, France Savane Consulting Temps plein

    Une entreprise de conseil recherche un Data Architect expert en Databricks pour piloter la plateforme data et travailler sur des projets complexes de transformation data. Le candidat idéal aura plus de 4 ans d'expérience en tant qu'architecte solution, une certification Databricks, ainsi qu'une expertise en Spark et gouvernance des données. La...

  • Tech Lead Data Eng

    il y a 2 semaines


    Malakoff, France Onepoint Temps plein

    Une entreprise de conseil recherche un Tech Lead Data Engineering pour diriger la conception et l'industrialisation de pipelines de données. Le candidat idéal possède une expertise en Databricks, une forte expérience en data engineering et des compétences en leadership technique. Vous travaillerez sur des missions variées au sein d'une équipe...

  • Data Engineer

    il y a 2 semaines


    Malakoff, France Consort Group Temps plein

    Une entreprise de données à Malakoff recherche un Data Engineer passionné par les architectures distribuées. Vous serez responsable de la conception et de l'optimisation d'un écosystème data en utilisant des outils avancés comme Spark Scala et AWS, tout en veillant à la fiabilité des données. Ce poste en CDI propose un salaire attractif entre 50...

  • Data Engineer H

    il y a 2 semaines


    Malakoff, France Consort Group Temps plein

    Overview Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au coeur de ses valeurs. C'est...


  • Malakoff, France AXEAL Temps plein

    Une société d'ingénierie des systèmes d'information est à la recherche d'un Data Engineer - Denodo pour rejoindre son équipe à Malakoff, en Île-de-France. Le candidat idéal doit avoir une expertise confirmée en Denodo et une bonne compréhension des infrastructures de données. Vous participerez à des projets de transformation digitale dans un...


  • Malakoff, France Pixie Services France Temps plein

    Une entreprise spécialisée en services de données cherche un Data Engineer pour développer et maintenir des ETLs et des pipelines de données. Le candidat idéal a au moins 3 ans d'expérience et des compétences en Python et SQL, ainsi qu'une expertise dans des infrastructures cloud comme Azure et GCP. Une maîtrise de Terraform et un bon niveau...

  • Data Engineer SQL Talend

    il y a 2 semaines


    Malakoff, France Collective.work Temps plein

    Data Engineer SQL Talend – Freelance Join to apply for the Data Engineer SQL Talend - Freelance role at Collective.work Budget: 500 Présentation et finalité du poste Au sein du domaine Data Digital Factory, vous réalisez et maintenez les solutions Data du Groupe Intégré à une équipe projet vous apportez votre capacité à mettre en œuvre des...

  • Data Engineer H/F

    il y a 2 semaines


    Malakoff, France fortil group Temps plein

    Description de poste DESCRIPTION DE POSTE Dans le cadre du développement de nos activités en Ile-de-France, nous recherchons un.e Data Engineer (H / F). Vos missions principales seront les suivantes : Vous concevez et développez des pipelines de données fiables pour collecter, transformer et mettre à disposition les données. Vous implémentez des...


  • Malakoff, France fortil group Temps plein

    Une entreprise innovante en Île-de-France recherche un.e Data Engineer pour concevoir et développer des pipelines de données. Le candidat idéal a un Bac +5 et au moins 5 ans d'expérience en ingénierie des données. Les responsabilités incluent l'implémentation d'architectures sur le Cloud et la collaboration avec des équipes pour assurer la qualité...


  • Malakoff, France Apside Temps plein

    Une entreprise mondiale de beauté recherche un Data Engineer GCP pour développer une Data Platform et des services Data pour plusieurs équipes. Vous serez responsable de la conception de l'architecture, de la définition des Data Models et de garantir la qualité du code. Ce poste offre un environnement technique Agile, avec des possibilités de...