Data Engineer | Pyspark | Databricks | Azure
il y a 4 semaines
Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ».
Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier
Il participe également à la construction du socle technique Big Data.
Il a pour missions principales :
· De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment :
· passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données)
· consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake
· les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …)
· De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets)
· De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4)
Selon son profil, le Développeur Big Data pourra même :
· piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global
· De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe
· De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)
· D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)
-
développeur pyspark spark
il y a 1 semaine
Boulogne-Billancourt, 92100, Ile-de-France, Boulogne-Billancourt Innov and Co Temps pleinDans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP, base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse...
-
Data engineer
il y a 7 jours
France Highteam Temps pleinMissions principales : Mise en ?uvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ? Mise en ?uvre avec le superviseur des flux du monitoring...
-
Data engineer
il y a 1 semaine
France, FR Highteam Temps pleinMissions principales : Mise en ?uvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ? Mise en ?uvre avec le superviseur des flux du monitoring...
-
Data engineer databricks
il y a 1 semaine
Bagneux, 92220, Ile-de-France, Antony VISIAN Temps pleinLe data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la...
-
Data Engineer Senior
il y a 1 jour
France Pulsover Temps pleinA propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery . La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre...
-
Data Engineer Senior
il y a 1 jour
France, FR Pulsover Temps pleinA propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...
-
Data Engineer Senior
il y a 1 jour
France Pulsover Temps pleinA propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...
-
Data Engineer Databricks
il y a 1 semaine
Paris, 75001, Ile-de-France, Paris VISIAN Temps pleinData Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir...
-
DATA Engineer Azure F/H
il y a 7 jours
Île-de-France SOFTEAM Temps pleinVous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...
-
DATA Engineer Azure F/H
il y a 1 semaine
Île-de-France, France SOFTEAM Temps pleinVous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...
-
Data Engineer Senior
il y a 1 semaine
Hauts-de-Seine, Ile-de-France AXA en France Temps pleinEnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...
-
Data Engineer Senior
il y a 7 jours
Hauts-de-Seine, France AXA en France Temps pleinEnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...
-
Data Engineer
il y a 1 semaine
Île-de-France, France RSight® Temps pleinNous recherchons pour notre client, un leader mondial des services et conseils en technologies, un ingénieur Databricks et Data Factory qui rejoindra une équipe qui combine des compétences métiers avec une forte expertise data, analytique et d’intelligence artificielle pour mettre en œuvre des solutions qui visent à améliorer la gestion et la...
-
Data Engineer
il y a 7 jours
Île-de-France RSight® Temps pleinNous recherchons pour notre client, un leader mondial des services et conseils en technologies, un ingénieur Databricks et Data Factory qui rejoindra une équipe qui combine des compétences métiers avec une forte expertise data, analytique et d’intelligence artificielle pour mettre en œuvre des solutions qui visent à améliorer la gestion et la...
-
Senior Data Engineer Azure
il y a 1 semaine
France, FR OctopusGroup Temps pleinPrendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l?architecture Data &Analytics, conçue...
-
Senior Data Engineer Azure
il y a 7 jours
France OctopusGroup Temps pleinPrendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l?architecture Data &Analytics, conçue...
-
Data engineer AWS/Azure
il y a 1 semaine
Île-de-France, France Apside Temps pleinDécouvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...
-
Data engineer AWS/Azure
il y a 7 jours
Île-de-France Apside Temps pleinDécouvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...
-
DATA ENGINEER AZURE
il y a 1 semaine
Paris, 75001, Ile-de-France, Paris UCASE CONSULTING Temps pleinBonjour à tous, Je recherche pour un de mes clients dans le domaine de l'immobilier un consultant Data Engineer Azure : Echanger et challenger les métiers dans leurs besoins Rédiger les spécifications techniques et fonctionnelles Concevoir les solutions d'intégration de la donnée Participer au développement de reporting aux équipes métiers...
-
Data engineer
il y a 1 semaine
Gennevilliers, 92230, Ile-de-France, Nanterre Bloomays Temps pleino Data engineering : mise à disposition des données dans le datalake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze/ Implémentation Silver) ? Mise en ?uvre avec le superviseur des flux du monitoring de ceux-ci ? Intégration des tests unitaires o...