data engineer spark
il y a 1 semaine
Bonjour ?,
Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.
Missions principales :
Participer au développement des User Stories (US) et réalisation des tests associés.
Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.
Mettre en place et maintenir le CI/CD sur l?usine logicielle.
Assurer la mise en place du monitoring.
Collaborer étroitement avec l?équipe projet ; pas de responsabilité de production individuelle.
Travailler dans un environnement agile avec priorisation et gestion multi-projets.
Compétences techniques indispensables :
Maîtrise de Scala et Spark (batch principalement).
Optimisation des jobs Spark et traitement de volumétries importantes / complexes.
Bonnes pratiques de développement Scala et build Maven.
Expérience en environnement cloud, idéalement Azure.
Compétences techniques appréciées :
Écosystème Databricks
Azure Functions et Azure Data Factory
Monitoring sous Datadog
Déploiement avec Ansible
Compétences transverses :
Aisance relationnelle et esprit d?équipe
Autonomie, rigueur et esprit d?analyse
Capacité de synthèse et force de proposition
Sens des priorités et respect des délais
Appétence client et compréhension métier / fonctionnelle
Mentoring et partage de connaissances
Profil candidat:
Profil confirmé ou senior (4 à 10 ans XP)
Expérience et formation :
Bac+3 à Bac+5 en informatique
Minimum 5 ans d?expérience en tant que Data Engineer
Bon niveau d?anglais technique
-
Data Engineer Spark/Scala
il y a 6 jours
Paris, Île-de-France Worldwide People Temps pleinData Engineer Spark/ScalaAu sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d?un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).Objectifs et livrablesObjectifsLe prestataire intégrera le projet d?intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer.Les...
-
data engineer spark/scala
il y a 2 jours
Paris, Île-de-France UCASE CONSULTING Temps pleinJe recherche pour un de mes clients dans le domaine de la banque/Assurance un Data Engineer :Contexte de la missionDans le cadre d'un renfort équipe, nous sommes en recherche d?un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing.Le prestataire...
-
Data Engineer
il y a 1 semaine
Paris, Île-de-France MP DATA Temps pleinEn tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...
-
Data Engineer Expérimenté
il y a 6 jours
Paris, Île-de-France Mp Data Temps pleinNous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...
-
Data Engineer Expérimenté
il y a 1 semaine
Paris, Île-de-France MP DATA Temps pleinNous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...
-
Data Engineer Spark Scala
il y a 2 jours
Paris, Île-de-France Ucase Consulting Temps pleinCréée en 2010, Ucase Consultingest une ESN dynamique, spécialisée dans la Data.Nous accompagnons nos clients dans l'analyse, la transformation et la valorisation de leurs données.Notre offre se structure autour de trois domaines :•Cloud & Big Data: Data Lake, Data Engineering, Data Science•Data Analytics & BI: Dataviz, ETL, Architecture BI•Data...
-
Ingénieur DATA Spark/Scala
il y a 6 jours
Paris, Île-de-France IBSI Temps pleinNous recherchons un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).vous rejoindrez le projet d?intégration en tant que Data Engineer.Développements sur la plateforme Datalake Finance, basée sur une distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins des...
-
Data Engineer Tech Lead
il y a 2 jours
Paris, Île-de-France Craftman data Temps pleinInformations principales :Secteur : AssuranceLocalisation : Paris (3 jours par semaine sur site)Date de démarrage : Dès que possibleLangue : FrançaisDurée de mission : Jusqu?en février 2028Profil recherché : Data Engineer (Spark / Hadoop)Expérience minimum : 7 ansCompétences techniques indispensables :Solide maîtrise de JavaExcellente maîtrise de...
-
Data Engineer Spark
il y a 6 jours
Paris, Île-de-France iSupplier Temps pleinAu sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d?intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks.Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9,...
-
Data Engineer
il y a 1 semaine
Paris, Île-de-France BIFORA Temps pleinIntégré(e) aux équipes Data (Data Engineers, BI, Sécurité, Infrastructure), vous interviendrez sur la conception, le développement et l?industrialisation des pipelines data dans un environnement Azure.Vos principales responsabilités : Concevoir des pipelines d?ingestion et de transformation (batch et near-real-time)Développer et maintenir des flux...