Data Engineer Databricks
il y a 1 semaine
**CONTEXTE**:
La mission aura lieu dans le Département DATA, équipe BI à la direction Technologie
**Contexte du projet**:
Intégré à l?équipe agile BI composée de 8 personnes au sein de la direction Data l'Ingénieur de données aura pour mission de jouer un rôle clé dans la mise en place du socle technique relative à l?alimentation de la nouvelle data plateforme, en se focalisant sur l'utilisation de Databricks. Il devra apporter son expertise issue de missions précédentes pour contribuer au développement, à la maintenance et à l'optimisation des solutions basées sur cette plateforme.
La maîtrise de la langue anglaise est requise pour communiquer efficacement avec les équipes internationales.
**DESCRIPTION DE LA MISSION**:
**Objectifs de la mission**:
**? Conception et développement des pipelines de données**: Concevoir et développer des pipelines de données efficaces et évolutifs sur la plateforme Databricks, en utilisant des langages de programmation Python(Pyspark) et SQL.
**? Optimisation des performances**: Optimiser les pipelines de données déjà développés pour garantir des performances optimales, savoir mettre en place du partitionnement. Proposer des améliorations sur la gestion des clusters, de l?ordonnancement des traitements.
**? Documentation et standardisation**: Contribuer à la documentation et à la standardisation des architectures, des processus et des bonnes pratiques pour assurer la cohérence et la pérennité des solutions mises en place.
**? Formation et support**: Fournir une aide et un support aux autres membres de l'équipe sur l'utilisation de Databricks et des pipelines de données développés.
**Localisation**:
Le poste sera basé à Malakoff
Le travail à distance pourrait être envisagée à raison de 2 jours/semaine.
**Compétences attendues**:
? Excellente maîtrise de Databricks, PySpark et de SQL.
? Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure data factory).
? Connaissance approfondie des concepts de Big Data et des architectures distribuées.
? Expérience démontrée dans des migrations de systèmes legacy vers Databricks.
? Familiarité avec les outils de gestion de versions comme Azure Devops ou Git.
? Capacité à travailler dans un environnement Agile.
**? Anglais**: FLUENT
**SÉNIORITÉ REQUISE**:
**? 5 à 10 ans d?expérience (Confirmed)**: Grade 3
**? 10 à 15 ans d?expérience (Advanced)**: Grade 4
**CALENDRIER**:
La mission commencera ASAP pour 3 mois potentiellement renouvelable.
-
Architecte Data Databricks
il y a 2 semaines
Malakoff, France Savane Consulting Temps pleinUne entreprise de conseil recherche un Data Architect expert en Databricks pour piloter la plateforme data et travailler sur des projets complexes de transformation data. Le candidat idéal aura plus de 4 ans d'expérience en tant qu'architecte solution, une certification Databricks, ainsi qu'une expertise en Spark et gouvernance des données. La...
-
Tech Lead Data Eng
il y a 2 semaines
Malakoff, France Onepoint Temps pleinUne entreprise de conseil recherche un Tech Lead Data Engineering pour diriger la conception et l'industrialisation de pipelines de données. Le candidat idéal possède une expertise en Databricks, une forte expérience en data engineering et des compétences en leadership technique. Vous travaillerez sur des missions variées au sein d'une équipe...
-
Data Engineer
il y a 2 semaines
Malakoff, France Consort Group Temps pleinUne entreprise de données à Malakoff recherche un Data Engineer passionné par les architectures distribuées. Vous serez responsable de la conception et de l'optimisation d'un écosystème data en utilisant des outils avancés comme Spark Scala et AWS, tout en veillant à la fiabilité des données. Ce poste en CDI propose un salaire attractif entre 50...
-
Data Engineer H
il y a 2 semaines
Malakoff, France Consort Group Temps pleinOverview Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au coeur de ses valeurs. C'est...
-
Senior Denodo Data Engineer – Data Lake
il y a 2 semaines
Malakoff, France AXEAL Temps pleinUne société d'ingénierie des systèmes d'information est à la recherche d'un Data Engineer - Denodo pour rejoindre son équipe à Malakoff, en Île-de-France. Le candidat idéal doit avoir une expertise confirmée en Denodo et une bonne compréhension des infrastructures de données. Vous participerez à des projets de transformation digitale dans un...
-
Data Engineer: Build Robust Data Pipelines
il y a 2 semaines
Malakoff, France Pixie Services France Temps pleinUne entreprise spécialisée en services de données cherche un Data Engineer pour développer et maintenir des ETLs et des pipelines de données. Le candidat idéal a au moins 3 ans d'expérience et des compétences en Python et SQL, ainsi qu'une expertise dans des infrastructures cloud comme Azure et GCP. Une maîtrise de Terraform et un bon niveau...
-
Data Engineer SQL Talend
il y a 2 semaines
Malakoff, France Collective.work Temps pleinData Engineer SQL Talend – Freelance Join to apply for the Data Engineer SQL Talend - Freelance role at Collective.work Budget: 500 Présentation et finalité du poste Au sein du domaine Data Digital Factory, vous réalisez et maintenez les solutions Data du Groupe Intégré à une équipe projet vous apportez votre capacité à mettre en œuvre des...
-
Data Engineer H/F
il y a 2 semaines
Malakoff, France fortil group Temps pleinDescription de poste DESCRIPTION DE POSTE Dans le cadre du développement de nos activités en Ile-de-France, nous recherchons un.e Data Engineer (H / F). Vos missions principales seront les suivantes : Vous concevez et développez des pipelines de données fiables pour collecter, transformer et mettre à disposition les données. Vous implémentez des...
-
Sr. Data Engineer: Cloud Pipelines
il y a 2 semaines
Malakoff, France fortil group Temps pleinUne entreprise innovante en Île-de-France recherche un.e Data Engineer pour concevoir et développer des pipelines de données. Le candidat idéal a un Bac +5 et au moins 5 ans d'expérience en ingénierie des données. Les responsabilités incluent l'implémentation d'architectures sur le Cloud et la collaboration avec des équipes pour assurer la qualité...
-
GCP Data Platform Engineer — Remote, CI/CD
il y a 2 semaines
Malakoff, France Apside Temps pleinUne entreprise mondiale de beauté recherche un Data Engineer GCP pour développer une Data Platform et des services Data pour plusieurs équipes. Vous serez responsable de la conception de l'architecture, de la définition des Data Models et de garantir la qualité du code. Ce poste offre un environnement technique Agile, avec des possibilités de...