Data Engineer Spark Scala Kafka- Monitoring Datalake Finance

il y a 1 semaine

Paris, France VISIAN Temps plein

Contexte & Objectifs

Au sein du service Gouvernance, Administration et Monitoring de la DSI Finance, la mission vise à développer et optimiser une brique applicative de monitoring des flux et traitements de données, en lien avec le programme GASPARD. L?objectif est d?assurer la qualité de service et le respect des délais de mise à disposition des données, notamment face à l?augmentation des volumes prévue en 2024-2025.

D?une durée de 6 mois, cette mission doit finaliser les travaux en cours et garantir les performances pour les futurs déploiements. L?équipe est basée à Paris, avec des interactions quotidiennes avec les équipes GASPARD à Paris et Porto. L?anglais est donc indispensable.

Description & Activités

Collecte et mise à disposition des données pour l?entreprise.

Industrialisation et mise en production des traitements (tableaux de bord, intégration de modèles).

Développement et optimisation des pipelines d?ingestion (streaming & batch).

Mise en production de modèles statistiques et traitements Spark.

Développement de scripts et jobs de traitement (mapping, normalisation, agrégation).

Développement d?API et dashboards pour la restitution des données.

Administration et configuration de clusters Hadoop et Spring Boot pour l?extraction et l?intégration des données via Kafka et Data Lake.

Profil & Informations

Expérience requise : 6 à 9 ans.

Localisation : paris 13.

Début souhaité : 03/03/2025.

Mode de travail : hybride (2 jours sur site minimum / 10 jours de télétravail max si convention).

Expertises spécifiques:
Nous recherchons un Data Engineer confirmé (6-9 ans d'expérience) avec une expérience significative dans un environnement Hadoop et avec une triple compétence sur les technologies Spark, Scala, Kafka.

Compte tenu du caractère court de la mission, le prestataire devra avoir une excellente capacité à s'adapter à notre environnement technique qui repose sur:

- un cluster Hadoop Cloudera On Premise (HDFS, Hive, Hbase, Kafka...)
- des batchs en Spark/Scala utilisant la bibliothèque ZIO
- des API diverses principalement développées en Java
- une IHM développée en Java et React.js
- des traitements ordonnancés par Control-M

Expériences souhaitées:

- Mise en oeuvre de traitements en Spark Scala
- Optimisation des temps d'exécution Spark au travers de techniques avancées
- Mise en oeuvre de producer/consumer Kafka
- Expérience de travail dans un environnement Agile; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban)

Compétences techniques requises:

- Spark / Scala : confirmé
- Kafka : intermédiaire
- à l'aise avec la programmation fonctionnelle
- à l'aise avec les concepts d'API

Compétences relationnelles:

- Capacité à comprendre les enjeux techniques nombreux sur le projet
- Capacité à s?organiser et travailler en autonomie et avec rigueur
- Force de proposition adaptée au contexte client
- Curiosité, agilité d?esprit, goût pour l?innovation
- Esprit d?équipe et capacité à dialoguer avec les autres développeurs
- Bonne communication orale et écrite (Français et Anglais)

  • Data Engineer

    il y a 4 jours

    Paris, France NEXORIS Temps plein

    Notre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et...

  • Data Engineer Spark/ Scala

    il y a 4 jours

    Paris, France Datapy Group Temps plein

    Vous travaillerez en tant que data engineer sur l?environnement technique suivant: - Spark - Scala Les plus : Kafka, avoir travaillé dans un environnement cloud Vous vous différencierez également par vos qualités humaines, votre savoir-être Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client...

  • DATA ENGINEER Scala, Spark, AWS

    il y a 2 jours

    Paris, Île-de-France emagine Temps plein

    Introductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...

  • Data Engineer Spark/scala

    il y a 6 jours

    Paris, France UCASE CONSULTING Temps plein

    **Conception et développement de pipelines de données**: Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d?autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de...

  • Lead Data Engineer

    il y a 2 semaines

    Paris, France Capgemini Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d'experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • Lead Data Engineer

    il y a 2 semaines

    Greater Paris Metropolitan Region, France Capgemini Temps plein

    Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d’experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la...

  • data engineer spark

    il y a 5 heures

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Engineer Spark/Scala

    il y a 3 jours

    Paris, France JobiJoba FR S2 Temps plein

    Data Engineer Spark/Scala - Services Financiers F/H Description de poste Big Data, Data Science, Data analyse, Data architecture, IA ... Ça n’a pas de secret pour vous? Que vous commenciez votre carrière professionnelle ou que vous soyez spécialiste de l’une de ces disciplines, intégrer notre communauté Data, c’est l’assurance de progresser,...

  • Data Engineer Spark Scala

    il y a 2 semaines

    Paris, France Digistrat consulting Temps plein

    **Dans ce cadre, la mission consiste à contribuer à/au(x)**: L?architecture avec le reste de l?entité (tech lead, devs, architecture). Mise en ?uvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. **Les...

  • Data Engineer Spark/scala/python

    il y a 2 semaines

    Paris, France Apside Temps plein

    **OPPORTUNITE A POURVOIR : Data Engineer** **Découvrez la Vie Apsidienne** et vous aussi, devenez Apsidien** **On aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut,** mais on préfère que vous le découvriez vous-mêmes **Découvrez votre future mission** **Contexte** En tant que Data Engineer, vous serez...