Data Engineer AWS H/F

il y a 2 semaines

Paris, Île-de-France MERITIS Temps plein

Descriptif de l'entreprise
:

Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d'Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l'ensemble des banques d'investissement, intermédiaires de marchés, hedge funds, asset managers de la place parisienne.

Notre expertise couvre toute la chaîne Front-to-Back, en intervenant sur des projets stratégiques et à forte valeur ajoutée. Nos références :

· Banques d'Investissement : BNPP CIB, CACIB, NATIXIS, SGCIB

· Asset Management : Amundi, LBPAM, TIKEHAU, ODDO BHF, EDRAM

· Fonds d'Investissement & Institutions Financières : QUBE RT, CFM, LCH, EPEX, EURONEXT

· Assurance : AXA, Groupama, CNP

Descriptif de la mission
:

Le rôle du Data Engineer dans ce projet consistera à :


• Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark


• Traiter et normaliser les données


• Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers)


• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud


• Distribuer les données aux différents consommateurs/Métiers


• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog


• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)


• Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …


• Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données


• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :

  • d'optimiser le temps de calculs,

  • d'optimiser les performances,

  • de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,

  • de maîtriser et d'optimiser les coûts cloud.


• Être force de proposition pour améliorer les processus et les performances des systèmes.

Compétences requises :


• Expertise en Scala et Spark.


• Expérience significative dans le développement d'ETL en contexte Big Data.


• Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec exéprience pratique


• Compétences Dev/Ops


• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.


• Organisation, orientation résultats et intérêt marqué pour le fonctionnel.


• Des compétences en Python et REACT seraient un plus pour le candidat

Profil recherché :


• Minimum 5 ans d'expérience en développement Scala Spark.


• Expérience avérée dans des projets Big Data et ETL.


• Capacité à être force de proposition et à travailler de manière autonome.


• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.

  • Senior AWS Data Engineer

    il y a 3 jours

    Paris, Île-de-France Data Reply Temps plein

    Senior AWS Data EngineerTasksImplement new use cases and data pipelines on AWSMap data and data flows across cloud platformsDevelop and industrialize data pipelines and processing workflowsDesign and build dashboards and reporting toolsPerform unit and integration testing of data flowsParticipate in Data Reply events (Reply Xchange, hackathons, AWS summits,...

  • Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS

    il y a 2 jours

    Paris, Île-de-France Craftman data Temps plein

    Nous recherchons une prestation de Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS.Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données.Il devra notamment :Collecter les exigences des métiers et des utilisateursConcevoir l'architecture...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 3 jours

    Paris, Île-de-France Cherry Pick Temps plein

    En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des transportsDescription? Contexte de la missionAu sein du domaine Data & IA, le client recherche un MLOps Engineer / Data Engineer confirmé pour intervenir sur l?ensemble du cycle de vie des solutions d?intelligence artificielle.L?objectif :...

  • Data Engineer AWS

    il y a 3 jours

    Paris, Île-de-France CHOURAK CONSULTING Temps plein

    Nous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d?une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données.? Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un...

  • Data Engineer Python AWS

    il y a 2 jours

    Paris, Île-de-France ec-0b91-4fd1-a05e-dc94127b83a9 Temps plein

    Cherry Pick est à la recherche d'un Data Engineer Python AWS pour l'un de ses clients dans le secteur de l'énergie.Missions :Le Data Engineer sera responsable de la conception, du développement et de la miseen production de l'architecture de données.Il devra notamment :? Collecter les exigences des métiers et des utilisateurs? Concevoir l'architecture...

  • Data Engineer Expérimenté

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer Expérimenté

    il y a 1 semaine

    Paris, Île-de-France Mp Data Temps plein

    Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...