Data Engineer | Pyspark | Databricks | Azure

il y a 4 semaines


ÎledeFrance, France skiils Travail à distance Freelance Temps plein

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ».

Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier

Il participe également à la construction du socle technique Big Data.

Il a pour missions principales :

· De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment :

· passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données)

· consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake

· les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …)

· De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets)

· De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4)

Selon son profil, le Développeur Big Data pourra même :

· piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global

· De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe

· De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

· D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)


  • développeur pyspark spark

    il y a 1 semaine


    Boulogne-Billancourt, 92100, Ile-de-France, Boulogne-Billancourt Innov and Co Temps plein

    Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP, base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse...

  • Data engineer

    il y a 7 jours


    France Highteam Temps plein

    Missions principales : Mise en ?uvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ? Mise en ?uvre avec le superviseur des flux du monitoring...

  • Data engineer

    il y a 1 semaine


    France, FR Highteam Temps plein

    Missions principales : Mise en ?uvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ? Mise en ?uvre avec le superviseur des flux du monitoring...

  • Data engineer databricks

    il y a 1 semaine


    Bagneux, 92220, Ile-de-France, Antony VISIAN Temps plein

    Le data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la...

  • Data Engineer Senior

    il y a 1 jour


    France Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery . La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre...

  • Data Engineer Senior

    il y a 1 jour


    France, FR Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...

  • Data Engineer Senior

    il y a 1 jour


    France Pulsover Temps plein

    A propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner nos Clients dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux à forts enjeux. Notre culture...

  • Data Engineer Databricks

    il y a 1 semaine


    Paris, 75001, Ile-de-France, Paris VISIAN Temps plein

    Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir...

  • DATA Engineer Azure F/H

    il y a 7 jours


    Île-de-France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • DATA Engineer Azure F/H

    il y a 1 semaine


    Île-de-France, France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • Data Engineer Senior

    il y a 1 semaine


    Hauts-de-Seine, Ile-de-France AXA en France Temps plein

    EnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Data Engineer Senior

    il y a 7 jours


    Hauts-de-Seine, France AXA en France Temps plein

    EnvironnementEn tant que Senior Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data.Vous allez intégrer une équipe d'une dizaine de personne...

  • Data Engineer

    il y a 1 semaine


    Île-de-France, France RSight® Temps plein

    Nous recherchons pour notre client, un leader mondial des services et conseils en technologies, un ingénieur Databricks et Data Factory qui rejoindra une équipe qui combine des compétences métiers avec une forte expertise data, analytique et d’intelligence artificielle pour mettre en œuvre des solutions qui visent à améliorer la gestion et la...

  • Data Engineer

    il y a 7 jours


    Île-de-France RSight® Temps plein

    Nous recherchons pour notre client, un leader mondial des services et conseils en technologies, un ingénieur Databricks et Data Factory qui rejoindra une équipe qui combine des compétences métiers avec une forte expertise data, analytique et d’intelligence artificielle pour mettre en œuvre des solutions qui visent à améliorer la gestion et la...

  • Senior Data Engineer Azure

    il y a 1 semaine


    France, FR OctopusGroup Temps plein

    Prendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l?architecture Data &Analytics, conçue...


  • France OctopusGroup Temps plein

    Prendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l?architecture Data &Analytics, conçue...

  • Data engineer AWS/Azure

    il y a 1 semaine


    Île-de-France, France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...

  • Data engineer AWS/Azure

    il y a 7 jours


    Île-de-France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteRejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...

  • DATA ENGINEER AZURE

    il y a 1 semaine


    Paris, 75001, Ile-de-France, Paris UCASE CONSULTING Temps plein

    Bonjour à tous, Je recherche pour un de mes clients dans le domaine de l'immobilier un consultant Data Engineer Azure : Echanger et challenger les métiers dans leurs besoins Rédiger les spécifications techniques et fonctionnelles Concevoir les solutions d'intégration de la donnée Participer au développement de reporting aux équipes métiers...

  • Data engineer

    il y a 1 semaine


    Gennevilliers, 92230, Ile-de-France, Nanterre Bloomays Temps plein

    o Data engineering : mise à disposition des données dans le datalake au format delta lake (Azure Databricks) ? Conception des flux data ? Développement des pipelines de données avec ADF et Databricks (ingestion Bronze/ Implémentation Silver) ? Mise en ?uvre avec le superviseur des flux du monitoring de ceux-ci ? Intégration des tests unitaires o...