Data Engineer Spark
il y a 6 jours
Contexte
Notre client recherche un Data engineer Spark / Scala.
Vous serez intégré(e) dans l’équipe Data Science et Engineering.
A chaque projet, l’équipe Data Science et Engineering intervient dans les décisions d’architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs, jointures, transformations métier complexes) et exposition (datalake, BDD, warehouse).
**Notre stack technique**:
+ Full cloud (AWS et Azure)
+ Python & Scala
+ Spark (essentiellement sur Databricks)
+ Fullstack, API HTTP
+ Serverless
+ Bases relationnelles et NoSQL
+ CI (Gitlab, Jenkins, Nexus, SonarQube) et CD (Ansible)
+ Conteneurisation
Activités et tâches
Participer au développement et à la maintenance des projets data sur stack Scala/Spark
Avec l’appui de l’équipe, être impliquée dans la roadmap technologique (pratiques, outils) et de l’amélioration continue du périmètre Scala/Spark
Contribuer proactivement à la qualité et aux compétences de l’équipe Data Science et Engineering : veille techno, capitalisation, retours d’expérience, revues de code, et formations
Profil
Minimum 4 années d’expérience
**Compétences métiers & outils**:
- Expérience de modélisation analytique (construction d’un datawarehouse)
- Appétence sur les aspects fonctionnels et métiers d’un projet
- Connaissance d’au moins un clouder parmi Azure et AWS
**o Expérience de CI/CD (notre stack**: Maven, Gitlab, Jenkins, Artifactory, Ansible)
Compétences transverses
- Intérêt prononcé pour le software engineering
- Aisance relationnelle
- Proactivité et clarté dans la communication
- Rigueur et organisation
- Force de proposition
- Bonne communication écrite et orale
-
Data Engineer Spark/Scala
il y a 3 jours
Paris, Île-de-France Worldwide People Temps pleinData Engineer Spark/ScalaAu sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d?un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).Objectifs et livrablesObjectifsLe prestataire intégrera le projet d?intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer.Les...
-
data engineer spark
il y a 4 jours
Paris, Île-de-France UCASE CONSULTING Temps pleinBonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...
-
Data Engineer Scala Spark Hadoop
il y a 3 jours
Paris, France Digistrat consulting Temps plein**? Poste**: Data Engineer Scala Spark Hadoop **? Secteurs stratégiques**: Banque d?investissement **? Démarrage**: ASAP **? Contexte /Objectifs**: Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. **Dans ce cadre, la...
-
Data Engineer
il y a 4 jours
Paris, Île-de-France MP DATA Temps pleinEn tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...
-
Data Engineer Expérimenté
il y a 3 jours
Paris, Île-de-France Mp Data Temps pleinNous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...
-
Data Engineer Spark
il y a 2 semaines
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client nous recherchons un data engineer spark / scala / databricks. S?agissant d?un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l?équipe projet, il n?y a...
-
Data Engineer Expérimenté
il y a 4 jours
Paris, Île-de-France MP DATA Temps pleinNous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...
-
Data Engineer Spark
il y a 2 semaines
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L?objectif de la mission est d?accompagner la Direction Financière à...
-
Data Engineer – Spark Specialist
il y a 2 semaines
Paris, Île-de-France Dataiku Temps pleinDataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...
-
Data Engineer
il y a 4 semaines
Paris, France MP DATA Temps pleinEn tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l’optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l’environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...
