Data Engineer Scala/Spark.

il y a 3 heures

Le BlancMesnil, Île-de-France Free-Work Temps plein

Client :
Entreprise de transport

Poste :
Architecte technique Senior DSM

Expérience :
Plus de 8 ans

TJM d'achat max : 5
15€

Localisation :
Banlieue parisienne

Deadline réponse :
09/12

Démarrage :
01/01/2025

Durée :
Mission très longue

Description De La Mission
Objectifs

La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark.

Vous interviendrez en tant que contributeur individuel sur l'étude, le chiffrage, la réalisation et l'exploitation de tâches liées à la constitution de traitements Data complexes.

Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d'opérateurs, d'architectes et encadrés par un chef de projet.

Description détaillée des tâches qui constituent la mission

Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.

S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints.

Le contenu de chaque sprint est variable mais toujours constitué sur la base d'US (User Stories).

Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet.

Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle.

Les sprints s'échelonnent généralement sur 2 semaines.

Contenu général des sprints :

  • Développement des US et tests associés ;
  • Documentation du projet, mapping des données, modélisation des pipelines, documents d'exploitation ;
  • Mise en place du CI/CD sur l'usine logicielle ;
  • Mise en place du monitoring ;

Profil candidat:

Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) :

Le profil recherché pour la mission est celui d'un Data Engineer Scala/Spark. Une expérience significative est requise pour ce poste.

Il bénéficiera d'un accompagnement du lead technique du projet sur le périmètre et du Chef de Projets Data pour les aspects méthodologie. Ce soutien sera plus important au début de la mission.

Qualités requises

  • Excellent relationnel
  • Capacité rédactionnelle
  • Capacité d'adaptation et de travail en équipe
  • Rigueur et esprit de synthèse
  • Esprit d'initiative
  • Autonomie

Environnement technique :

Compétences requises

  • maîtrise de l'API Scala Spark (batch principalement)
  • maîtrise des techniques d'optimisation Spark
  • expérience dans le traitement de volumétries importantes / complexes
  • développement et bonnes pratiques Scala, build Maven
  • travail en environnement cloud (idéalement Azure) et écosystème Databricks

Compétences souhaitées

  • Connaissance du SI
  • Connaissance des outils Datadog, Rundeck

  • Data Scientist H/F

    il y a 5 jours

    Le Raincy, Île-de-France cloudaitech Temps plein

    À propos du posteNous recherchons un ou une Data Scientist passionné(e) et expérimenté(e) pour rejoindre notre équipe. En tant que Data Scientist, vous serez responsable de l'analyse avancée de données complexes afin de soutenir la prise de décision stratégique de notre organisation. Vous travaillerez sur des projets innovants impliquant le...

  • Software Engineer

    il y a 2 semaines

    Joinville-le-Pont, Île-de-France Trimble Inc. Temps plein

    Job Title:Software Engineer - Geospatial Cloud Backend (m/f/d)Location:On-site – Paris - Joinville-le-PontEmployment Type:Full-timeDepartment:Trimble Field SystemsReports To:Cloud Engineering ManagerAbout The RoleWant to build the geospatial data infrastructure that will power the global evolution of digital construction?The Paris office of Trimble Inc. is...

  • Software Engineer

    il y a 2 semaines

    Joinville-le-Pont, Île-de-France Trimble Temps plein

    Job Title: Software Engineer - Geospatial Cloud Backend (m/f/d)Location: On-site – Paris - Joinville-le-PontEmployment Type: Full-timeDepartment: Trimble Field SystemsReports To: Cloud Engineering ManagerAbout the RoleWant to build the geospatial data infrastructure that will power the global evolution of digital construction?The Paris office of Trimble...

  • Ingénieur(e) data senior F/H

    il y a 3 jours

    Noisy-le-Grand, Île-de-France Ingénérisk Temps plein

    L'entreprise Le Groupe BK se distingue par son excellence opérationnelle dans divers secteurs tels que l'industrie, les infrastructures (bâtiment & travaux publics) et l'informatique. Fort d'une expertise multisectorielle et d'un vivier de compétences solides, le Groupe BK a su au fil des années se développer sur des valeurs d'excellence.​Nos...

  • Software Engineer

    il y a 2 semaines

    Joinville-le-Pont, Île-de-France Trimble Inc. Temps plein

    Job Title: Software Engineer - Geospatial Cloud Backend (m/f/d)Location: On-site – Paris - Joinville-le-PontEmployment Type: Full-timeDepartment: Trimble Field SystemsReports To: Cloud Engineering Manager About the RoleWant to build the geospatial data infrastructure that will power the global evolution of digital construction? The Paris office of...

  • Tech Lead Data Engineer MLOps AWS F/H F/H

    il y a 5 jours

    Montereau-sur-le-Jard, Île-de-France AEROCONTACT Temps plein

    Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de l'environnement, plus confortable et plus accessible. Implanté...

  • Finance Data Science Engineer

    il y a 7 jours

    Voisins-le-Bretonneux, Île-de-France Boston Scientific Temps plein

    Additional Locations: Spain-Madrid; France-Voisins le Bretonneux; France-Île-de-France; Germany-Düsseldorf; Italy-Milan; United Kingdom-Hemel HempsteadDiversity - Innovation - Caring - Global Collaboration - Winning Spirit - High PerformanceAt Boston Scientific, we'll give you the opportunity to harness all that's within you by working in teams of diverse...

  • Finance Data Science Engineer

    il y a 7 jours

    Voisins-le-Bretonneux, Île-de-France Boston Scientific Temps plein

    Lead the design, development, and deployment of advanced forecasting models using state-of-the-art libraries (e.g., statsforecast, Darts, skforecast, sklearn). Oversee end‑to‑end machine learning projects and pipelines from experimentation to production, ensuring scalability, reliability, and adherence to MLOps standards. Conduct robust accuracy...

  • Cadre Delivery Lead Data F/H

    il y a 5 jours

    Noisy-le-Grand, Île-de-France RATP Group Temps plein

     La RATP recherche sa/son prochain.e Delivery Lead Data/IA au sein de la Data Factory(*)​​Aujourd'hui on vous parle d'une opportunité pour rejoindre ce grand groupe qui investit massivement pour accompagner les métiers dans la création de nouveaux produits Data pour des usages de BI, analytics, IA, pour la RATP et ses filiales.Pour mettre en...

  • ECOM Database Engineer

    il y a 4 jours

    Marly-le-Roi, Île-de-France singlebuoy Temps plein

    Imagine your career taking you to the depths of innovation and the heights of impact.  Our people enable continuous progress. Their commitment, collective expertise, and unique capabilities are the engine room behind SBM Offshore's True. Blue. Transition. - shaping the future of energy, and beyond.About Us:SBM Offshore is the world's deepwater...