Data Engineer Scala/Spark.

il y a 5 jours

SaintDenis, Île-de-France Codezys Temps plein

Client : Entreprise de transport

Poste : Architecte technique Senior DSM

Expérience : Plus de 8 ans

TJM d?achat max : 515?

Localisation : Banlieue parisienne

Deadline réponse : 09/12

Démarrage : 01/01/2025

Durée : Mission très longue

DESCRIPTION DE LA MISSION

Objectifs

La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark.

Vous interviendrez en tant que contributeur individuel sur l?étude, le chiffrage, la réalisation et l?exploitation de tâches liées à la constitution de traitements Data complexes.

Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d?opérateurs, d?architectes et encadrés par un chef de projet.

Description détaillée des tâches qui constituent la mission

Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.

S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints.

Le contenu de chaque sprint est variable mais toujours constitué sur la base d?US (User Stories).

Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet.

Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle.

Les sprints s?échelonnent généralement sur 2 semaines.

Contenu général des sprints :

Développement des US et tests associés ;

Documentation du projet, mapping des données, modélisation des pipelines, documents d?exploitation ;

Mise en place du CI/CD sur l?usine logicielle ;

Mise en place du monitoring ;

Profil candidat:

Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) :

Le profil recherché pour la mission est celui d?un Data Engineer Scala/Spark. Une expérience significative est requise pour ce poste.

Il bénéficiera d?un accompagnement du lead technique du projet sur le périmètre et du Chef de Projets Data pour les aspects méthodologie. Ce soutien sera plus important au début de la mission.

Qualités requises

  • Excellent relationnel
  • Capacité rédactionnelle
  • Capacité d?adaptation et de travail en équipe
  • Rigueur et esprit de synthèse
  • Esprit d?initiative
  • Autonomie

Environnement technique :

Compétences requises

? maîtrise de l'API Scala Spark (batch principalement)

? maîtrise des techniques d'optimisation Spark

? expérience dans le traitement de volumétries importantes / complexes

? développement et bonnes pratiques Scala, build Maven

? travail en environnement cloud (idéalement Azure) et écosystème Databricks

Compétences souhaitées

? Connaissance du SI

? Connaissance des outils Datadog, Rundeck

  • Data Engineer Senior Scala/Spark

    il y a 3 jours

    Saint-Denis, Île-de-France QODEXIA Temps plein

    QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du...

  • Data Engineer

    il y a 2 jours

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • data engineer

    il y a 2 jours

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • Data Engineer

    il y a 2 jours

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • stage - data scientist/ data engineer h/f

    il y a 1 semaine

    Saint-Denis, Île-de-France Generali Temps plein

    STAGE - DATA SCIENTIST/ DATA ENGINEER H/FRéférence: 13636STAGIAIREST DENIS, FR, 93210GeneraliAvec plus de 71 millions de clients et un chiffre d'affaires de 95,2 milliards d'euros en 2024, Generali est l'un des leaders de l'assurance et de la gestion d'actifs dans le monde. Assureur responsable, nous plaçons la durabilité au cœur de notre...

  • stage - data analyst/data engineer h/f

    il y a 1 semaine

    Saint-Denis, Île-de-France Generali Temps plein

    STAGE - DATA ANALYST/DATA ENGINEER H/FRéférence: 13635STAGIAIREST DENIS, FR, 93210GeneraliAvec plus de 71 millions de clients et un chiffre d'affaires de 95,2 milliards d'euros en 2024, Generali est l'un des leaders de l'assurance et de la gestion d'actifs dans le monde. Assureur responsable, nous plaçons la durabilité au cœur de notre stratégie.Notre...

  • data engineer

    il y a 1 semaine

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • data engineer

    il y a 3 jours

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • Data Engineer

    il y a 1 semaine

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...

  • Data Engineer PYSPARK H/F

    il y a 2 semaines

    Saint-Ouen, Île-de-France Inetum Temps plein

    Description de l'entreprise Inetum est un leader européen des services numériques. Pour les entreprises, les acteurs publics et la société dans son ensemble, les consultants et spécialistes du groupe visent chaque jour l'impact digital : des solutions qui contribuent à la performance, à l'innovation et au bien commun.Présent dans 19 pays au plus...