Intermediate Data Engineer

il y a 2 jours

Paris, Île-de-France Free-Work Temps plein

Contexte du projet
Notre client dans le secteur de l'energie, dans sa stratégie de transformation
data-driven
, souhaite exploiter pleinement ses données pour :

  • proposer de nouvelles offres,
  • réduire les risques opérationnels,
  • accroître l'efficacité des équipes.

Le projet
One Pulse
vise à
centraliser et harmoniser les indicateurs clés
liés aux activités d'approvisionnement dans différents pays.

Objectif : mettre en place une
plateforme Big Data
robuste et scalable permettant de
collecter, traiter et diffuser les données
de manière cohérente et sécurisée à travers le groupe.

Objectif de la mission
Développer une plateforme basée sur des technologies
Big Data et Cloud (AWS)
pour :

  • capturer et traiter des volumes importants de données,
  • normaliser et exposer des indicateurs multi-pays,
  • garantir la conformité avec les guidelines techniques et d'architecture,
  • améliorer les frameworks communs (CI/CD, tests, monitoring, performance, qualité de code, etc.).

Activités principales

  • Collecter et challenger les besoins métiers.
  • Concevoir des solutions conformes aux guidelines d'architecture.
  • Participer au développement et à la maintenance du code (Python, API, Big Data).
  • Optimiser la performance, la qualité et la robustesse des solutions.
  • Rédiger la documentation technique en anglais.
  • Mettre en place des outils de monitoring et d'alerting.
  • Contribuer à la phase de production et à l'amélioration continue.

Compétences attendues
Techniques (2 à 3 compétences maîtrisées minimum) :
CompétenceNiveau attendu: Python / API (Software engineering)Big Data ingestion (S3, Medaillon architecture)Big Data patterns (lambda, partitioning, bucketing…)AWS

Fonctionnelles :

  • Proactivité et autonomie,
  • Leadership technique (capacité à guider d'autres devs),
  • Sens de la qualité et du delivery,
  • Rigueur, communication claire,
  • Anglais courant.

Livrables attendus

  • Conception, développement et documentation technique,
  • Rapports d'avancement et dashboards de suivi,
  • Plan de monitoring et correction d'anomalies,
  • Code source, spécifications techniques et fonctionnelles,
  • Plan de réversibilité et continuité de service.

Profil recherché
Un
Data Engineer expérimenté (3 à 6 ans d'expérience)
capable d'évoluer dans un environnement Big Data international et complexe, avec une bonne culture logicielle et une maîtrise de Python et des architectures data sur cloud (idéalement AWS).

  • Data Engineer

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 6 jours

    Paris, Île-de-France Mp Data Temps plein

    Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...

  • Data Engineer Expérimenté

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Senior AWS Data Engineer

    il y a 1 jour

    Paris, Île-de-France Data Reply Temps plein

    Senior AWS Data EngineerTasksImplement new use cases and data pipelines on AWSMap data and data flows across cloud platformsDevelop and industrialize data pipelines and processing workflowsDesign and build dashboards and reporting toolsPerform unit and integration testing of data flowsParticipate in Data Reply events (Reply Xchange, hackathons, AWS summits,...

  • Graduate Data Engineer

    il y a 2 jours

    Paris, Île-de-France Data Reply Temps plein

    Graduate Data EngineerTasks• Implementing new use cases• Mapping data and data flows• Implementing data analysis and processing pipelines• Industrializing data flows and their visualization through dashboards and reporting• Carrying out unit tests and integration tests  Benefits• Structured career progression – at Reply, we encourage career...

  • Data Engineer

    il y a 2 semaines

    Paris, Île-de-France Aqemia Temps plein

    About Aqemia Aqemia is a next-generation pharmatech reinventing drug discovery with quantum-inspired physics and generative AI. Our mission: design innovative small-molecule drug candidates for dozens of critical diseases, faster and smarter, without relying on experimental data. Unlike traditional approaches, Aqemia starts drug discovery purely in silico....

  • Big data

    il y a 2 jours

    Paris, Île-de-France Hanson Regan Limited Temps plein

    Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to BelgiumAdvanced Data & Application LifecycleData Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...),Application design, development, testing & deployment, Requirement AnalysisAdvanced Data Processing &...

  • Data Scientist NLP/LLM Engineer confirmé(e)

    il y a 5 jours

    Paris, Île-de-France MP DATA Temps plein

    ESN spécialisée Data & IA pour les environnements industriels. Pour l'un de nos clients, nous recherchons unLLM Engineerchargé d'industrialiser lesPOC GenAIdéveloppés par les équipes Data Science et de déployer des solutions robustes et scalables en production.Développement et Industrialisation des POC LLM / GenAI.Conception et optimisation de...

  • Data Engineer Tech Lead

    il y a 2 jours

    Paris, Île-de-France Craftman data Temps plein

    Informations principales :Secteur : AssuranceLocalisation : Paris (3 jours par semaine sur site)Date de démarrage : Dès que possibleLangue : FrançaisDurée de mission : Jusqu?en février 2028Profil recherché : Data Engineer (Spark / Hadoop)Expérience minimum : 7 ansCompétences techniques indispensables :Solide maîtrise de JavaExcellente maîtrise de...

  • Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS

    il y a 9 heures

    Paris, Île-de-France Craftman data Temps plein

    Nous recherchons une prestation de Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS.Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données.Il devra notamment :Collecter les exigences des métiers et des utilisateursConcevoir l'architecture...