Data Engineer Spark

il y a 5 jours

Paris, Île-de-France iSupplier Temps plein

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d?intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks.

Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.).

Missions principales :

  • Participer au développement et à l?intégration de nouvelles sources de données au sein du Datalake Finance.
  • Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants.
  • Contribuer à la conception technique, l?implémentation et les tests des flux sous Spark / Scala.
  • Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle.
  • Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance.
  • Participer à la documentation technique et aux revues de code.

Profil recherché :

  • 5 à 6 ans d?expérience en environnement Big Data / Datalake.
  • Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés).
  • Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos.
  • Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence).
  • Esprit analytique, autonomie, rigueur et bon relationnel.

  • Data Engineer Spark/Scala

    il y a 5 jours

    Paris, Île-de-France Worldwide People Temps plein

    Data Engineer Spark/ScalaAu sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d?un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).Objectifs et livrablesObjectifsLe prestataire intégrera le projet d?intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer.Les...

  • data engineer spark

    il y a 7 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • data engineer spark/scala

    il y a 14 heures

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Je recherche pour un de mes clients dans le domaine de la banque/Assurance un Data Engineer :Contexte de la missionDans le cadre d'un renfort équipe, nous sommes en recherche d?un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing.Le prestataire...

  • Data Engineer

    il y a 7 jours

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 5 jours

    Paris, Île-de-France Mp Data Temps plein

    Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...

  • Data Engineer Expérimenté

    il y a 7 jours

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer – Spark Specialist

    il y a 2 semaines

    Paris, Île-de-France Dataiku Temps plein

    Dataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...

  • Ingénieur DATA Spark/Scala

    il y a 5 jours

    Paris, Île-de-France IBSI Temps plein

    Nous recherchons un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).vous rejoindrez le projet d?intégration en tant que Data Engineer.Développements sur la plateforme Datalake Finance, basée sur une distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins des...

  • Data Engineer Spark Scala

    il y a 16 heures

    Paris, Île-de-France Ucase Consulting Temps plein

    Créée en 2010, Ucase Consultingest une ESN dynamique, spécialisée dans la Data.Nous accompagnons nos clients dans l'analyse, la transformation et la valorisation de leurs données.Notre offre se structure autour de trois domaines :•Cloud & Big Data: Data Lake, Data Engineering, Data Science•Data Analytics & BI: Dataviz, ETL, Architecture BI•Data...

  • Data Engineer Tech Lead

    il y a 18 heures

    Paris, Île-de-France Craftman data Temps plein

    Informations principales :Secteur : AssuranceLocalisation : Paris (3 jours par semaine sur site)Date de démarrage : Dès que possibleLangue : FrançaisDurée de mission : Jusqu?en février 2028Profil recherché : Data Engineer (Spark / Hadoop)Expérience minimum : 7 ansCompétences techniques indispensables :Solide maîtrise de JavaExcellente maîtrise de...