Data Engineer Spark/scala
il y a 7 jours
Analyse du besoin, étude d?impacts et conception de la solution technique
Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, )
Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
**Développements de notebooks (ex**: Databricks) de traitements avancés des données
Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
Rédaction de documentation technique (Dossier d?Analyse Technique, release delivery note,.)
Revue de code
Réalisation de tests unitaires
Maintenance corrective et évolutive
Livraison dans un environnement Devops, CI/CD et outils associés
Un profil avec une forte expérience sur Azure data bricks, Spark ,Scala
-
Data Engineer Spark/ Scala
il y a 7 jours
Paris, Île-de-France Datapy Group Temps pleinVous travaillerez en tant que data engineer sur l?environnement technique suivant:- Spark- ScalaLes plus : Kafka, avoir travaillé dans un environnement cloudVous vous différencierez également par vos qualités humaines, votre savoir-êtreLe processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client permettant...
-
Data engineer scala spark
il y a 7 jours
Paris, Île-de-France CELAD Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :- Conception détaillée, fonctionnelle et technique.- Développements SPARK / SCALA- Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.- Résolution des anomalies...
-
Data engineer scala spark
il y a 3 semaines
Paris, Île-de-France CELAD Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :- Conception détaillée, fonctionnelle et technique.- Développements SPARK / SCALA- Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.- Résolution des anomalies...
-
Data Engineer Spark
il y a 7 jours
Paris, Île-de-France Bek Advisory Temps pleinContexteNotre client recherche un Data engineer Spark / Scala.Vous serez intégré(e) dans l'équipe Data Science et Engineering.A chaque projet, l'équipe Data Science et Engineering intervient dans les décisions d'architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs,...
-
Ingénieur Data SPARK/SCALA
il y a 3 semaines
Paris, Île-de-France DHM IT Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies...
-
Ingénieur Data SPARK/SCALA
Il y a 2 mois
Paris, Île-de-France DHM IT Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies...
-
Ingénieur Data SPARK/SCALA
il y a 1 jour
Paris, Île-de-France DHM IT Temps pleinAu sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :Conception détaillée, fonctionnelle et technique.Développements SPARK / SCALAContribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.Résolution des anomalies pendant...
-
Data Engineer Spark
il y a 7 jours
Paris, Île-de-France KUBE Partners S.L. Pixie Services Temps pleinContexte de la mission Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala...
-
Data Engineer senior Spark
Il y a 2 mois
Paris, Ile-de-France Sibylone Temps pleinSIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...
-
ingenieur data spark scala f/h
il y a 3 semaines
Paris, Île-de-France GENIOUS Temps pleinGenious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/HContexte Mission:Sur une architecture Big Data permettant de collecter les données de l'ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette...
-
ingenieur data spark scala f/h
Il y a 2 mois
Paris, Île-de-France GENIOUS Temps pleinGenious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/HContexte Mission:Sur une architecture Big Data permettant de collecter les données de l'ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette...
-
ingenieur informatique DATA SPARK SCALA F/H
il y a 1 semaine
Paris, Île-de-France GENIOUS Temps pleinGenious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/HContexte Mission:Sur une architecture Big Data permettant de collecter les données de l?ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette...
-
Data Engineer
il y a 4 semaines
PARIS, 75000, Ile-de-France Nexoris Temps pleinNotre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et activités de...
-
Développeur Data Scala/Spark/Java
il y a 7 jours
Paris, Île-de-France Cyllene Temps pleinLe Groupe Cyllene c'est plus de 400 collaborateurs, qui accompagnent quotidiennement leurs clients dans le domaine du numérique et de la gestion des données : hébergement en Datacenters privés ou en Cloud public, Cyber sécurité, développement web & mobile, marketing digital, solutions collaboratives...La Business Unit Digital du Groupe Cyllene est...
-
Data Engineer
il y a 7 jours
Paris, Île-de-France Intuition IT Solutions Ltd. Temps pleinData Engineer - Spark Scala Hadoop - minimum 3 ans d?XPau sein d?une direction de l?innovation. Recherche un profil Data science/Data analyse pour rejoindre une équipe de 6+ personnes à terme**Compétences clefs obligatoires**:Spark Scalalangage JavaBig Data (environnement Hadoop)Bon relationnel (contact métier/esprit d?équipe), bonne capacité d?analyse
-
Développeur SPARK/SCALA
il y a 1 semaine
Paris, Île-de-France MLMCONSEIL Temps pleinDéveloppeur Spark/Scala dans le secteur de l'assurance Profil candidat: Développeur Spark/Scala avec minimum 5 ans d'expérience
-
Big Data Engineer
il y a 7 jours
Paris, Île-de-France Octopus IT Temps pleinSenior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Créée en 2016 cette startups'est spécialisée dans l'analyse de données...
-
Senior Data Engineer
il y a 7 jours
Paris, Île-de-France Octopus IT Temps pleinSenior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Et si vous rejoigniez une entreprise qui révolutionne la prise de décisions...
-
Data Engineer
il y a 1 semaine
Paris, Île-de-France Astrelya Consulting & Engeneering Solutions Temps pleinContexte & EnjeuxCréée en 2018, ASTRELYA regroupe aujourd'hui plus de 240 experts pour accompagner ses Clients Grands Comptes dans leur transformation digitale. Dans le cadre de notre développement, nous recherchons un Data Engineer (F/H) Vos Rôles & ResponsabilitésDéveloppements Java Spark : Optimisation et gestion des évolutions de l'architecture...
-
Senior Data Engineer
Il y a 2 mois
Paris, Ile-de-France Pulsover Temps pleinÀ propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...