Data Engineer Spark/Scala

il y a 2 jours

Paris, Île-de-France Worldwide People Temps plein

Data Engineer Spark/ScalaAu sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d?un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).

Objectifs et livrables

Objectifs

Le prestataire intégrera le projet d?intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer.

Les développements sur ce chantier s?appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.?)

Les tâches seront les suivantes :

? la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l?outillage déjà en place

? Vous participerez à la conception et à l?implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance

Compétences techniques

o Expérience dans la mise en ?uvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos)

o Spark / Scala : confirmé

o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée)

o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban)

Compétences demandéesCompétencesNiveau de compétence

Apache Kafka

Avancé

Apache Hadoop

Confirmé

Apache Hive

Avancé

SCALA

Confirmé

Spark

Confirmé

Profil candidat:

Compétences techniques

o Expérience dans la mise en ?uvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos)

o Spark / Scala : confirmé

o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée)

o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban)

  • Ingénieur DATA Spark/Scala

    il y a 2 jours

    Paris, Île-de-France IBSI Temps plein

    Nous recherchons un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).vous rejoindrez le projet d?intégration en tant que Data Engineer.Développements sur la plateforme Datalake Finance, basée sur une distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins des...

  • Développeur SPARK/ SCALA

    il y a 2 semaines

    Paris, Île-de-France AVA2I Temps plein

    Contexte du poste: Dans le cadre du développement de sa plateforme Data & Analytics, l'entreprise recherche un Développeur Spark/Scala expérimenté pour rejoindre une équipe agile en pleine croissance. Vous interviendrez sur des projets stratégiques de traitement de données massives et d?industrialisation de pipelines analytiques dans un environnement...

  • Data Engineer Spark

    il y a 2 jours

    Paris, Île-de-France iSupplier Temps plein

    Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d?intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks.Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9,...

  • data engineer spark

    il y a 4 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Engineer

    il y a 4 jours

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 2 jours

    Paris, Île-de-France Mp Data Temps plein

    Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...

  • Data Engineer Expérimenté

    il y a 4 jours

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer – Spark Specialist

    il y a 2 semaines

    Paris, Île-de-France Dataiku Temps plein

    Dataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...

  • Tech Lead Data Engineer

    il y a 7 jours

    Paris, Île-de-France Free-Work Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail.Description Le ContexteAu sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons leRéférent Technique Data.Il ne s'agit pas d'un poste de Data...

  • Data Engineer AWS H/F

    il y a 4 jours

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...