Senior Data Engineer

Contexte de la missionContexte de la mission Au sein du pôle Gestion de l’Énergie, l’équipe informatique en charge d'un outil SI assure l’évolution, la maintenance et le support d'une application utilisée par l’équipe des activités de trading. Afin d'assurer ces tâches notre client recherche aujourd'hui un Senior Data Engineer H/F d'à minima 6 ans d'expériences sur un poste similaire maitrisant les stacks Spark, Scala, dans un environnement AWS. Ce poste est à pourvoir en CDI. Vos missions seront les suivantes : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark• Traiter et normaliser les données, • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers),• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud,• Distribuer les données aux différents consommateurs/Métiers,• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code),• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :- d'optimiser le temps de calculs,- d'optimiser les performances,- de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,- de maîtriser et d'optimiser les coûts cloud. Ce poste est-il fait pour vous ? • Expertise en Scala et Spark.• Expérience significative dans le développement d'ETL en contexte Big Data.• Expérience AWS (Glue, Lambda, Step Function, S3, etc.)• Compétences Dev/Ops• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.• Organisation, orientation résultats et intérêt marqué pour le fonctionnel. Profil recherché : • Minimum 6 ans d'expérience en développement Scala Spark.• Vous êtes issu d'une formation de type BAC + 5 ou équivalent. • Expérience avérée dans des projets Big Data et ETL.• Capacité à être force de proposition et à travailler de manière autonome.• Intérêt pour le secteur de l'énergie, du trading.Qui sommes nous ?Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d’Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l’ensemble des banques d’investissement, intermédiaires de marchés, hedge funds, asset managers de la place parisienne.Notre expertise couvre toute la chaîne Front-to-Back, en intervenant sur des projets stratégiques et à forte valeur ajoutée. Nos références :> Banques d’Investissement : BNPP CIB, CACIB, NATIXIS, SGCIB> Asset Management : Amundi, LBPAM, TIKEHAU, ODDO BHF, EDRAM> Fonds d’Investissement & Institutions Financières : QUBE RT, CFM, LCH, EPEX, EURONEXT> Assurance : AXA, Groupama, CNPNotre positionnement nous permet d’intervenir sur des environnements exigeants et à forte valeur ajoutée, en accompagnant nos clients sur des projets stratégiques tels que :· Le développement d’une application de trading électronique dédiée aux swaps de taux, optimisant la gestion des flux et l’exécution des ordres.· L’intervention sur des librairies financières cross-asset, apportant une expertise en modélisation et en calculs complexes pour la valorisation des produits et la gestion des risques.· Le renforcement des équipes en support trading, garantissant la disponibilité, la performance et l’évolution des plateformes utilisées en salle de marché.Nous mettons un point d’honneur à être proche de nos collaborateurs et à les accompagner de manière individualisée quelles que soient leurs fonctions dans l’entreprise. Certifiée Great Place To Work depuis 2013, notre conception du bien-être au travail va bien au-delà d'un simple label, ce sont nos collaborateurs qui en parlent le mieux :https://www.glassdoor.fr/Avis/Meritis-Avis-E1163008.htm