Data Engineer Advanced

il y a 3 jours

Paris, Île-de-France Free-Work Temps plein

Contexte
Nous recherchons un
Data Engineer confirmé à senior
pour intervenir au sein d'un
grand groupe international du secteur de l'énergie
.

La mission s'inscrit dans un environnement
data critique
, lié à l'exploitation de
données de marché
et à la production d'indicateurs et d'alertes à forte valeur métier.

Le système cible repose sur une architecture
batch Big Data
structurée selon une
architecture médaillon (Silver / Gold)
, avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers.

Localisation
: Paris (hybride)

Durée
: 12 mois renouvelables (jusqu'à 3 ans)

Objectifs de la mission

  • Concevoir et développer des pipelines d'ingestion et de transformation en Scala Spark
  • Traiter, dédoublonner, normaliser et structurer des données de marché

  • Refactoriser des imports existants afin de les rendre conformes à l'architecture médaillon

  • Silver layer : données dédoublonnées, normalisées et structurées

  • Gold layer : génération d'agrégats métiers (carnets d'ordres, best bid/ask, OHLC, etc.)

  • Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud

  • Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog
  • Participer à l'amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement
  • Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure)

Environnement technique

  • ETL / Compute : Scala, Spark (batch)
  • Cloud AWS : Glue Jobs, S3, Lambda, Step Functions
  • Qualité des données : Great Expectations ou équivalent
  • DevOps / CI-CD : Git, pipelines, bonnes pratiques d'industrialisation
  • Environnement applicatif connexe : API REST, services backend
  • Compétences complémentaires appréciées : Python, React

Important : cette mission ne s'appuie pas sur des solutions managées de type Databricks.

Compétences requisesIndispensables

  • Minimum 5 ans d'expérience significative en Scala et Spark
  • Expérience confirmée sur des projets Big Data / ETL à forte volumétrie
  • Expérience pratique sur AWS (Glue, S3, orchestration)
  • Bonne culture DevOps
  • Autonomie, rigueur, capacité à être force de proposition

Appréciées

  • Python
  • Développement API
  • Connaissances de base en market data / trading (non bloquant)

Process de sélection

  • Entretien Teams de 30 minutes axé sur les expériences professionnelles
  • Entretien Teams d'une heure axé sur les compétences techniques avec un Data Engineer de l'équipe

Modalités de réponse

Merci de transmettre :
CV, disponibilité, TJM, localisation
et un résumé des expériences
Scala / Spark / AWS Glue
.

  • Data Engineer

    il y a 5 jours

    Paris, Île-de-France Advanced Schema Temps plein

    Job description En tant que Data Engineer, vous aurez les missions suivantes : Concevoir des modélisations physiquesConstruire des mappings techniques et rédaction de spécifications d'alimentation. Développer des flux des donnéesContribuer au pilotage de projets, de proof of conceptsParticiper à des missions d'expertiseN'hésitez pas à postuler...

  • Data Engineer

    il y a 3 jours

    Paris, Île-de-France MP Data Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables. Vos...

  • Data Engineer

    il y a 7 jours

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 7 jours

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer

    il y a 3 jours

    Paris, Île-de-France Equativ Temps plein

    Kamino Retail (powered by Equativ) stands at the forefront of retail media innovation as a pioneering SAAS platform. We equip retailers with advanced tools and solutions to revolutionize their advertising strategies, amplify customer engagement, and drive concrete results. Join us in shaping the future of retail media through innovation, collaboration, and...

  • Data Engineer

    il y a 3 jours

    Paris, Île-de-France Equativ Temps plein

    Kamino Retail (powered by Equativ)stands at the forefront of retail media innovation as a pioneering SAAS platform. We equip retailers with advanced tools and solutions to revolutionize their advertising strategies, amplify customer engagement, and drive concrete results. Join us in shaping the future of retail media through innovation, collaboration, and...

  • Data Engineer

    il y a 3 jours

    Paris, Île-de-France Equativ Temps plein

    Kamino Retail (powered by Equativ) stands at the forefront of retail media innovation as a pioneering SAAS platform. We equip retailers with advanced tools and solutions to revolutionize their advertising strategies, amplify customer engagement, and drive concrete results. Join us in shaping the future of retail media through innovation, collaboration, and...

  • Graduate Data Engineer

    il y a 2 jours

    Paris, Île-de-France Data Reply Temps plein

    Graduate Data EngineerTasks• Implementing new use cases• Mapping data and data flows• Implementing data analysis and processing pipelines• Industrializing data flows and their visualization through dashboards and reporting• Carrying out unit tests and integration tests  Benefits• Structured career progression – at Reply, we encourage career...

  • Data Engineer sénior

    il y a 1 semaine

    Paris, Île-de-France Collective Temps plein

    About the role:We are looking for a result-driven Senior Data Engineer to join our core data engineering team . The successful candidate should have in-depth knowledge in data engineering with the ability to share experience with the team. The company has recently started the Data Transformation Program involving broad-scale modernization of Data...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 7 jours

    Paris, Île-de-France Mp Data Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l'un de nos clients, nous recherchons un LLM Engineer chargé d'industrialiser les POC GenAI développés par les équipes Data Science et de déployer des solutions robustes et scalables en production.Développement et Industrialisation des POC LLM / GenAI.Conception et optimisation de...