Data Engineer Scala/Spark.

il y a 14 heures

Le BlancMesnil, Île-de-France Free-Work Temps plein

Client :
Entreprise de transport

Poste :
Architecte technique Senior DSM

Expérience :
Plus de 8 ans

TJM d'achat max : 5
15€

Localisation :
Banlieue parisienne

Deadline réponse :
09/12

Démarrage :
01/01/2025

Durée :
Mission très longue

Description De La Mission
Objectifs

La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark.

Vous interviendrez en tant que contributeur individuel sur l'étude, le chiffrage, la réalisation et l'exploitation de tâches liées à la constitution de traitements Data complexes.

Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d'opérateurs, d'architectes et encadrés par un chef de projet.

Description détaillée des tâches qui constituent la mission

Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.

S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints.

Le contenu de chaque sprint est variable mais toujours constitué sur la base d'US (User Stories).

Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet.

Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle.

Les sprints s'échelonnent généralement sur 2 semaines.

Contenu général des sprints :

  • Développement des US et tests associés ;
  • Documentation du projet, mapping des données, modélisation des pipelines, documents d'exploitation ;
  • Mise en place du CI/CD sur l'usine logicielle ;
  • Mise en place du monitoring ;

Profil candidat:

Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) :

Le profil recherché pour la mission est celui d'un Data Engineer Scala/Spark. Une expérience significative est requise pour ce poste.

Il bénéficiera d'un accompagnement du lead technique du projet sur le périmètre et du Chef de Projets Data pour les aspects méthodologie. Ce soutien sera plus important au début de la mission.

Qualités requises

  • Excellent relationnel
  • Capacité rédactionnelle
  • Capacité d'adaptation et de travail en équipe
  • Rigueur et esprit de synthèse
  • Esprit d'initiative
  • Autonomie

Environnement technique :

Compétences requises

  • maîtrise de l'API Scala Spark (batch principalement)
  • maîtrise des techniques d'optimisation Spark
  • expérience dans le traitement de volumétries importantes / complexes
  • développement et bonnes pratiques Scala, build Maven
  • travail en environnement cloud (idéalement Azure) et écosystème Databricks

Compétences souhaitées

  • Connaissance du SI
  • Connaissance des outils Datadog, Rundeck

  • STAGE - Data Engineer F/H - SAFRAN AIRCRAFT ENGINES FRANCE

    il y a 11 heures

    Montereau-sur-le-Jard, Île-de-France AEROCONTACT Temps plein

    Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de l'environnement, plus confortable et plus accessible. Implanté...

  • Data Scientist H/F

    il y a 6 jours

    Le Raincy, Île-de-France cloudaitech Temps plein

    À propos du posteNous recherchons un ou une Data Scientist passionné(e) et expérimenté(e) pour rejoindre notre équipe. En tant que Data Scientist, vous serez responsable de l'analyse avancée de données complexes afin de soutenir la prise de décision stratégique de notre organisation. Vous travaillerez sur des projets innovants impliquant le...

  • Software Engineer

    il y a 2 semaines

    Joinville-le-Pont, Île-de-France Trimble Temps plein

    Job Title: Software Engineer - Geospatial Cloud Backend (m/f/d)Location: On-site – Paris - Joinville-le-PontEmployment Type: Full-timeDepartment: Trimble Field SystemsReports To: Cloud Engineering ManagerAbout the RoleWant to build the geospatial data infrastructure that will power the global evolution of digital construction?The Paris office of Trimble...

  • Software Engineer

    il y a 2 semaines

    Joinville-le-Pont, Île-de-France Trimble Inc. Temps plein

    Job Title:Software Engineer - Geospatial Cloud Backend (m/f/d)Location:On-site – Paris - Joinville-le-PontEmployment Type:Full-timeDepartment:Trimble Field SystemsReports To:Cloud Engineering ManagerAbout The RoleWant to build the geospatial data infrastructure that will power the global evolution of digital construction?The Paris office of Trimble Inc. is...

  • Ingénieur(e) data senior F/H

    il y a 4 jours

    Noisy-le-Grand, Île-de-France Ingénérisk Temps plein

    L'entreprise Le Groupe BK se distingue par son excellence opérationnelle dans divers secteurs tels que l'industrie, les infrastructures (bâtiment & travaux publics) et l'informatique. Fort d'une expertise multisectorielle et d'un vivier de compétences solides, le Groupe BK a su au fil des années se développer sur des valeurs d'excellence.​Nos...

  • Tech Lead Data Engineer MLOps AWS F/H F/H

    il y a 6 jours

    Montereau-sur-le-Jard, Île-de-France AEROCONTACT Temps plein

    Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de l'environnement, plus confortable et plus accessible. Implanté...

  • Finance Data Science Engineer

    il y a 1 semaine

    Voisins-le-Bretonneux, Île-de-France Boston Scientific Temps plein

    Additional Locations: Spain-Madrid; France-Voisins le Bretonneux; France-Île-de-France; Germany-Düsseldorf; Italy-Milan; United Kingdom-Hemel HempsteadDiversity - Innovation - Caring - Global Collaboration - Winning Spirit - High PerformanceAt Boston Scientific, we'll give you the opportunity to harness all that's within you by working in teams of diverse...

  • Finance Data Science Engineer

    il y a 1 semaine

    Voisins-le-Bretonneux, Île-de-France Boston Scientific Temps plein

    Lead the design, development, and deployment of advanced forecasting models using state-of-the-art libraries (e.g., statsforecast, Darts, skforecast, sklearn). Oversee end‑to‑end machine learning projects and pipelines from experimentation to production, ensuring scalability, reliability, and adherence to MLOps standards. Conduct robust accuracy...

  • Data Engineer F/H

    il y a 1 semaine

    Le Plessis-Robinson, Île-de-France AEROCONTACT Temps plein

    MBDA est le seul groupe européen capable de concevoir et de produire des missiles et systèmes de missiles pour répondre à toute la gamme des besoins opérationnels présents et futurs des trois armées (terre, marine et air). Partenaire européen et acteur mondial, MBDA se positionne au coeur de la souveraineté de nos nations européennes et de leurs...

  • Data Steward

    il y a 3 jours

    Montereau-sur-le-Jard, Île-de-France AEROCONTACT Temps plein

    Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de l'environnement, plus confortable et plus accessible. Implanté...