Data Engineer Spark

il y a 2 semaines

Paris, France UCASE CONSULTING Temps plein

Bonjour,
Pour le compte de notre client nous recherchons un data engineer spark / scala / databricks.
S?agissant d?un projet mené en agilité, le découpage des livrables est réalisé par sprints.
Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter
que ces livrables sont réalisés par l?équipe projet, il n?y a pas de responsabilité de production
individuelle.
**Livrables n°1**: Sprint n°1
**+ Lot 1**: développement des US et tests associés ;
**+ Lot 2**: Documentation projet, mapping des données, modélisation des pipelines,
documents d?exploitation ;
**+ Lot 3**: Mise en place du CI/CD sur notre usine logicielle ;
**+ Lot 4**: Mise en place du monitoring ;
**Les compétences technologiques attendues sont**:
Interne
**+ Indispensables**: maîtrise de l'API Scala Spark (batch principalement), maîtrise des
techniques d'optimisation Spark, expérience dans le traitement de volumétries
importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail
en environnement cloud (idéalement Azure)
**+ Appréciées**: écosystème Databricks, briques Azure Function et Azure Data Factory,
monitoring sous Datadog, déploiement Ansible.
Bac + 5 informatique
Profil technique
Expertise spark / scala / databricks
Très bonne communication
Apprécié Azure
Qualité relationnelles et aisance orale.

  • Data Engineer Spark/Scala

    il y a 3 jours

    Paris, Île-de-France Worldwide People Temps plein

    Data Engineer Spark/ScalaAu sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d?un Data Engineer Spark/Scala confirmé (5-6 ans d?expérience).Objectifs et livrablesObjectifsLe prestataire intégrera le projet d?intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer.Les...

  • data engineer spark

    il y a 5 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Engineer Scala Spark Hadoop

    il y a 3 jours

    Paris, France Digistrat consulting Temps plein

    **? Poste**: Data Engineer Scala Spark Hadoop **? Secteurs stratégiques**: Banque d?investissement **? Démarrage**: ASAP **? Contexte /Objectifs**: Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. **Dans ce cadre, la...

  • Data Engineer

    il y a 5 jours

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 3 jours

    Paris, Île-de-France Mp Data Temps plein

    Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur la mise en production, la fiabilisation et l'évolution d'une plateforme data moderne basée sur AWS, Spark et Dataiku.Vous participerez activement à la construction et l'optimisation des environnements de traitement de données à grande échelle, en lien étroit avec les équipes...

  • Data Engineer Expérimenté

    il y a 5 jours

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer Spark

    il y a 3 heures

    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Engineer Spark

    il y a 2 semaines

    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L?objectif de la mission est d?accompagner la Direction Financière à...

  • Data Engineer – Spark Specialist

    il y a 2 semaines

    Paris, Île-de-France Dataiku Temps plein

    Dataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...

  • Data Engineer

    il y a 4 semaines

    Paris, France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l’optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l’environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...