Data Engineer AWS H/F

il y a 2 semaines

Paris, Île-de-France MERITIS Temps plein

Descriptif de l'entreprise
:

Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d'Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l'ensemble des banques d'investissement, intermédiaires de marchés, hedge funds, asset managers de la place parisienne.

Notre expertise couvre toute la chaîne Front-to-Back, en intervenant sur des projets stratégiques et à forte valeur ajoutée. Nos références :

· Banques d'Investissement : BNPP CIB, CACIB, NATIXIS, SGCIB

· Asset Management : Amundi, LBPAM, TIKEHAU, ODDO BHF, EDRAM

· Fonds d'Investissement & Institutions Financières : QUBE RT, CFM, LCH, EPEX, EURONEXT

· Assurance : AXA, Groupama, CNP

Descriptif de la mission
:

Le rôle du Data Engineer dans ce projet consistera à :


• Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark


• Traiter et normaliser les données


• Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers)


• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud


• Distribuer les données aux différents consommateurs/Métiers


• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog


• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)


• Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …


• Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données


• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :

  • d'optimiser le temps de calculs,

  • d'optimiser les performances,

  • de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,

  • de maîtriser et d'optimiser les coûts cloud.


• Être force de proposition pour améliorer les processus et les performances des systèmes.

Compétences requises :


• Expertise en Scala et Spark.


• Expérience significative dans le développement d'ETL en contexte Big Data.


• Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec exéprience pratique


• Compétences Dev/Ops


• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.


• Organisation, orientation résultats et intérêt marqué pour le fonctionnel.


• Des compétences en Python et REACT seraient un plus pour le candidat

Profil recherché :


• Minimum 5 ans d'expérience en développement Scala Spark.


• Expérience avérée dans des projets Big Data et ETL.


• Capacité à être force de proposition et à travailler de manière autonome.


• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché.

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France Data Reply FR Temps plein

    Data Replyest une filiale du groupe Reply offrant une large gamme de services d'analyse avancée et de données alimentées par l'IA.Nous opérons dans différents secteurs et fonctions commerciales, en travaillant directement avec des professionnels de haut niveau et des directeurs généraux pour leur permettre d'obtenir des résultats significatifs grâce...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France NEXTON Temps plein

    de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies d'évolution et...

  • Data Engineer AWS

    il y a 1 semaine

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 2 semaines

    Paris, Île-de-France NEXTON Temps plein

    Description de l'entrepriseQui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer AWS

    il y a 4 jours

    Paris, Île-de-France CHOURAK CONSULTING Temps plein

    Nous recherchons un Data Engineer AWS / Snowflake confirmé pour intervenir au sein d?une équipe Data sur un environnement cloud moderne, fortement orienté industrialisation, performance et qualité des données.? Contexte de la mission : Vous serez en charge de maintenir, optimiser et faire évoluer les pipelines et architectures Data existants, dans un...

  • Data Engineer Expérimenté

    il y a 2 semaines

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer AWS

    il y a 6 jours

    Paris, Île-de-France Collective Temps plein

    Budget: 500En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des MédiasDescription Le Contexte : Un Programme DATA AmbitieuxVous rejoignez la Direction DATA d'ungrand groupe média d'envergure internationale. Dans le cadre d'un vaste programme de transformation, le groupe déploie des outils et processus...

  • Data Engineer Python AWS

    il y a 6 jours

    Paris, Île-de-France Collective Temps plein

    Budget: 600En quelques motsCherry Pick est à la recherche d'unData Engineer Python AWS(H/F), pour le compte de l'un de ses clients qui opère dans le domaine de l'Energie.Description Contexte de la missionDans le cadre de l'accélération de sa transformation digitale, une grande entreprise multi-énergies s'appuie sur uneDigital Factory internationale,...

  • Data Engineer AWS

    il y a 6 jours

    Paris, Île-de-France Cherry Pick Temps plein

    Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...