Data Engineer Scala/spark

Il y a 13 minutes

Paris, France KEONI CONSULTING Temps plein

CONTEXTE
L'entité a donc également un but humain en assurant la réussite des développeurs en reconversion. La mission consiste à renforcer une équipe de Data Engineers pour réaliser des projets Scala/Spark pour le compte de l?un de nos clients.
MISSIONS
Vous assurerez le pilotage de plusieurs projets basés majoritairement sur les technologies Python sur le périmètre de la filiale Energie. Le pilotage concerne l?ensemble des projets de cette filiale confiés à D2D.
Les engagements de l?entité D2D envers la filiale sont assurés grâce à un plateau projet composé de 2 à 4 développeurs,
un ops et un architecte.
Description détaillée des tâches qui constituent la mission
Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.
S'agissant d'un projet mené en agilité, le découpage des livrables est réalisé par sprints.
Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l'équipe projet, il n'y a pas de responsabilité de production individuelle.
Les sprints projet s'échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints.
**Livrables n°X**: Sprint n°X
**Lot 1**: développement des US et tests associés ;
**Lot 2**: Documentation projet, mapping des données, modélisation des pipelines, documents d'exploitation ;
**Lot 3**: Mise en place du CI/CD sur notre usine logicielle ;
**Lot 4**: Mise en place du monitoring ;
Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées):
Le profil recherché pour la mission est celui d?un chef de projet SI/Data. Une expérience significative est requise pour ce poste.
Il bénéficiera d?un accompagnement du responsable de domaine / directeur de mission sur le périmètre et du responsable de l?équipe Chefs de Projets Data pour les aspects outillage et méthodologie. Ce soutien sera plus important au début de la mission, notamment pour la prise en main des outils indispensables mais peu répandus
comme TimePerformance.
Qualités requises - Excellent relationnel - Capacité rédactionnelle - Capacité d?adaptation et de travail en équipe - Rigueur et esprit de synthèse - Esprit d?initiative - Autonomie
Compétences sur les méthodes et les outils
Requises
? maîtrise de l'API Scala Spark (batch principalement)
? maîtrise des techniques d'optimisation Spark
? expérience dans le traitement de volumétries importantes / complexes
? développement et bonnes pratiques Scala, build Maven
? travail en environnement cloud (idéalement Azure) et écosystème Databricks
Souhaitées
? Connaissance du SI
? Connaissance des outils Datadog, Rundeck

  • Data Engineer Senior Scala

    Il y a 22 minutes

    Paris, France SILAMIND | Microsoft Partner Temps plein

    Localisation Île-de-France (Nord) Télétravail possible jusqu’à 3 jours par semaine Déplacements ponctuels possibles en région Contexte du poste Dans le cadre du renforcement d’une Data Factory au sein d’une grande organisation française, nous recherchons un Data Engineer Senior maîtrisant la chaîne Data analytique de bout en bout. Vous...

  • Data Engineer

    il y a 4 jours

    Paris, France Cherry Pick Temps plein

    Cherry Pick est à la recherche d'un Data Engineer pour l'un de ses clients dans le secteur du luxe. **Missions**: Concevoir et développer des pipelines de données performants pour répondre aux besoins spécifiques du secteur du luxe. Traiter et transformer des données massives en utilisant Spark et Scala. Implémenter et maintenir des modèles de...

  • Data Engineering

    il y a 4 jours

    Paris, France Digistrat consulting Temps plein

    ? Contexte /Objectifs: L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et...

  • Data Engineer Spark

    il y a 4 jours

    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client nous recherchons un data engineer spark / python / databricks / azure. Attentes: - Spark/Python (API dataframe, dataset, rdd) + Librairie ScalaTest - Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault -...

  • Data Engineer Spark/scala

    il y a 7 jours

    Paris, France DATSUP Temps plein

    Développement et l?implémentation de solutions Big Data Analytics Analyse du besoin, étude d?impacts et conception de la solution technique Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, ) Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data...

  • Data Engineer

    il y a 2 semaines

    Paris, France Cherry Pick Temps plein

    La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. **Description de la mission**: Nous...

  • Senior Scala Spark Data Engineer

    Il y a 25 minutes

    Paris, France Collective.work Temps plein

    Une entreprise du secteur de l'énergie recherche un développeur Scala Spark avec au moins 5 ans d'expérience dans les projets Big Data et ETL. Le candidat doit être capable de concevoir des composants de traitement de données, normaliser celles-ci et garantir la qualité des données. Une expérience avec AWS et des compétences en Dev/Ops sont...

  • Data Engineer Spark

    il y a 2 semaines

    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Ingénieur Senior – Spark/Scala en Finance

    Il y a 20 minutes

    Paris, France Canopee Group Temps plein

    Une société de conseil recherche un Data Scientist H/F pour développer des pipelines de données robustes et collaborer avec les équipes pour optimiser les processus. Le candidat idéal possède au moins 4 ans d'expérience, une bonne connaissance des outils tels que Spark et Scala, ainsi qu'une base en finance. Cette opportunité offre un environnement...

  • Senior Databricks Data Engineer: Spark

    Il y a 12 minutes

    Paris, France Talan Group Temps plein

    Un groupe international de conseil recherche un Big Data Engineer Databricks Sénior en charge de l’intégration des données et de l'optimisation des pipelines. Le candidat idéal possède au moins 4 ans d'expérience en Big Data, maîtrise Scala et Python, ainsi que le framework Spark. L'environnement de travail est moderne et flexible avec la...