Data Engineer Spark/scala
Il y a 5 mois
Développement et l?implémentation de solutions Big Data Analytics
Analyse du besoin, étude d?impacts et conception de la solution technique
Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, )
Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
**Développements de notebooks (ex**: Databricks) de traitements avancés des données
Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
Rédaction de documentation technique (Dossier d?Analyse Technique, release delivery note,.)
Revue de code
Réalisation de tests unitaires
Maintenance corrective et évolutive
Livraison dans un environnement Devops, CI/CD et outils associés
Un profil avec une forte expérience sur Azure data bricks, Spark ,Scala
-
Data Engineer Scala Spark Hadoop
Il y a 2 mois
Paris, France Digistrat consulting Temps plein**? Poste**: Data Engineer Scala Spark Hadoop **? Secteurs stratégiques**: Banque d?investissement **? Démarrage**: ASAP **? Contexte /Objectifs**: Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. **Dans ce cadre, la...
-
Data Engineer Spark/ Scala
Il y a 5 mois
Paris, France Datapy Group Temps pleinVous travaillerez en tant que data engineer sur l?environnement technique suivant: - Spark - Scala Les plus : Kafka, avoir travaillé dans un environnement cloud Vous vous différencierez également par vos qualités humaines, votre savoir-être Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client...
-
Data Engineer Spark
Il y a 5 mois
Paris, France Bek Advisory Temps pleinContexte Notre client recherche un Data engineer Spark / Scala. Vous serez intégré(e) dans l’équipe Data Science et Engineering. A chaque projet, l’équipe Data Science et Engineering intervient dans les décisions d’architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes...
-
Data Engineer
Il y a 5 mois
Paris, France Intuition IT Solutions Ltd. Temps pleinData Engineer - Spark Scala Hadoop - minimum 3 ans d?XP au sein d?une direction de l?innovation. Recherche un profil Data science/Data analyse pour rejoindre une équipe de 6+ personnes à terme **Compétences clefs obligatoires**: Spark Scala langage Java Big Data (environnement Hadoop) Bon relationnel (contact métier/esprit d?équipe), bonne capacité...
-
Data Engineer Scala Spark Hadoop
il y a 1 mois
Paris, France Digistrat consulting Temps plein? Poste : Data Engineer Scala Spark Hadoop? Secteurs stratégiques : Banque d?investissement? Démarrage : ASAP? Contexte /Objectifs :Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements.Dans ce cadre, la Prestation...
-
Data Engineer Spark
Il y a 5 mois
Paris, France UCASE CONSULTING Temps pleinBonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. **Mission**: **Livrables n 1**: Sprint n 1 **+ Lot 1**: développement des US et tests associés ; **+ Lot 2**: Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; **+ Lot 3**: Mise en place du CI/CD sur notre usine...
-
Data Engineer
Il y a 5 mois
Paris, France NEXORIS Temps pleinNotre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et...
-
Data Engineer Spark
Il y a 2 mois
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
Data Engineer Spark Scala
Il y a 5 mois
Paris, France Digistrat consulting Temps plein**Dans ce cadre, la mission consiste à contribuer à/au(x)**: L?architecture avec le reste de l?entité (tech lead, devs, architecture). Mise en ?uvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. **Les...
-
Data Engineering
Il y a 5 mois
Paris, France Digistrat consulting Temps plein? Contexte /Objectifs: L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et...
-
Data Engineer Talend
Il y a 5 mois
Paris, France BI consulting Temps pleinVos missions En tant que Data Engineer , vos missions seront les suivantes : Analyser, comprendre et cadrer une architecture permettant de répondre aux besoins métiers des clients Concevoir et mettre en place des plateformes Data en tenant compte des contraintes tant techniques que fonctionnelles Intervenir sur la conception et le...
-
Data Engineer Spark Scala
Il y a 5 mois
Paris 8e, France MERITIS Temps pleinDescriptif du poste Nous recherchons des Data Engineers pour intervenir sur plusieurs projets innovants et de grande envergure dans les secteurs de la Banque, de l'Assurances, du Transport, de l'Energie, de la Télécommunication ou encore du Retail ! Vos missions: Conception de plateformes permettant de traiter une grosse volumétries de données Analyse...
-
Data Engineer
il y a 1 mois
Paris, France Cherry Pick Temps pleinLa mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. **Description de la mission**: Nous...
-
Data Engineer Spark
Il y a 5 mois
Paris, France UCASE CONSULTING Temps pleinJe recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France ECF Data, LLC Temps pleinExpert Data Engineer WantedECF Data, LLC is seeking a seasoned Data Engineer to bolster their Lyon-based team. The ideal candidate will contribute to a cutting-edge data project platform, leveraging their expertise in Microsoft Azure ecosystem.Key Responsibilities:Collaborate with fellow Data Engineers and developers on technical issues and best...
-
Développeur principal Spark/Scala
il y a 4 semaines
Paris, Île-de-France Groupama Gan Recrute Temps pleinDéveloppeur principal Spark/ScalaGroupama Supports et Services recherche un(e) Lead Dev Spark/Scala pour rejoindre son équipe de Business Intelligence & Big Data / Programme OCEAN.ResponsabilitésMener les chantiers transverses de l'équipe, notamment la mise en place de frameworks et la refonte du plan batch.Devenir référent sur le Peer review et...
-
Data Engineer Spark/scala/python
il y a 1 semaine
Paris, France Apside Temps plein**OPPORTUNITE A POURVOIR : Data Engineer** **Découvrez la Vie Apsidienne** et vous aussi, devenez Apsidien** **On aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut,** mais on préfère que vous le découvriez vous-mêmes **Découvrez votre future mission** **Contexte** En tant que Data Engineer, vous serez...
-
Développeur Lead Spark/Scala
il y a 4 semaines
Paris, Île-de-France Groupama Temps pleinCarrière dans l'InformatiqueVous êtes un passionné de l'informatique et de la technologie? Nous recherchons un Développeur Lead Spark/Scala pour rejoindre notre équipe de développement de solutions innovantes.MissionNous sommes à la recherche d'un Ingénieur Data Lead pour rejoindre notre équipe de développement de solutions de traitement de...
-
Cloud and Data Solutions Engineer
il y a 3 semaines
Paris, Île-de-France ECF Data, LLC Temps pleinWe are looking for a talented Data Engineer to join our team and work on large-scale projects in various sectors, including Banking, Insurance, Transport, Energy, Telecoms, and Retail.The ideal candidate will have a strong background in data processing, cloud computing, and software development. Responsibilities will include designing and implementing data...
-
Data Engineer
il y a 3 semaines
Paris, Île-de-France ECF Data, LLC Temps pleinTwyce is a consulting firm specializing in Digital Transformation, with a strong focus on innovation and customer satisfaction. We are looking for a talented Data Engineer to join our team and work on large-scale projects in various sectors, including Banking, Insurance, Transport, Energy, Telecoms, and Retail.The ideal candidate will have a strong...