Data Engineer Spark

il y a 3 jours

Paris, France UCASE CONSULTING Temps plein

Bonjour,

Pour le compte de notre client nous recherchons un data engineer spark / scala / databricks / azure.

Contexte : Dans ce projet, vous contribuerez à la migration de la plateforme entreprise vers le cloud Azure. Vous travaillerez notamment sur la refonte de la solution datawarehouse sur Azure (ingestion de données, transformation de données, vues métiers).

Attentes:

- Spark/Scala (API dataframe, dataset, rdd) + Librairie ScalaTest
- Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault
- EDI : Intellij, Visual Studio Code, Visual Studio
- Expérience de travail avec des données de différents formats (np. Avro, Parquet, JSON, CSV/Excel, Delta)
- Python
- connaissance de Kafka, Impala
- SQL
- très bon anglais
- soft skills : compétences en communication, autogestion, compétences ETL, travail d'équipe, partage des connaissances, qualité et objectif, bien organisé

L?objectif de ce projet est de migrer d'un data warehouse on-premise vers le Azure, et reconstruire

un datawarehouse : data ingestion, data transformation et business views.

Activités Principales:
? Migration d'un environnement BI (sql server, oracle) vers le cloud

? Création de pipeline avec Azure Data Factory pour l?alimentation des tables Delta

? Transcription des requêtes SQL existantes en code Spark Scala simplifié

? Développement de tests unitaires avec Scala test

? Data tests et debugging avec Azure Databricks

? Optimisation des transformations Spark Scala

? Développer des algorithmes génériques pour créer un lot des tables

? Accompagner les nouveaux arrivées pendant l?intégration

? Implémentation de workflows et pipelines CI/CD avec Azure DevOps

? Réalisation du suivi de la production (production monitoring)

? Participation aux workshops d?estimation des US fonctionnelles et techniques

Environnement technique:
Spark, Scala, PySpark, Azure Data Factory, Azure Blob Storage, Azure DevOps, Release, Pipeline, Board, Repos,

Azure Databricks, Databricks Delta.

Bac + 5 informatique

Profil technique

Expertise spark / scala / databricks

Bonne communication et bon relationnel

Apprécié Azure

Qualités relationnelles et aisance orale.

  • Data Platform Engineer

    il y a 7 jours

    Paris, France Data Recrutement Temps plein

    Une entreprise de services numériques est à la recherche d'un Data Platform Engineer pour travailler sur des plateformes critiques dans le secteur bancaire. Le poste require environ 3 ans d'expérience, une expertise en Kubernetes et des connaissances en outils Big Data comme Spark et Airflow. Ce rôle offre une rémunération compétitive de 55-60K€ et...

  • data engineer spark

    il y a 1 semaine

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Engineer

    il y a 5 jours

    Paris, Île-de-France MP Data Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au coeur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables. Vos...

  • Data Engineer Python/spark/deltalake

    il y a 2 semaines

    Paris, France VISIAN Temps plein

    Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/Deltalake. Tâches: Conception, de?veloppement et de?ploiement des pipelines de donne?es efficaces pour l?extraction, la transformation et le chargement (ETL) des donne?es, - Collaboration avec les e?quipes me?tier pour comprendre les besoins en...

  • Data Engineer

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Expérimenté

    il y a 1 semaine

    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer Spark/ Scala

    il y a 2 semaines

    Paris, France Datapy Group Temps plein

    Vous travaillerez en tant que data engineer sur l?environnement technique suivant: - Spark - Scala Les plus : Kafka, avoir travaillé dans un environnement cloud Vous vous différencierez également par vos qualités humaines, votre savoir-être Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client...

  • Data Engineer

    il y a 1 semaine

    Paris, France MP DATA Temps plein

    En tant que Data Engineer Senior, vous jouerez un rôle clé dans la construction, l'optimisation et la fiabilisation de nos pipelines de données à grande échelle, au cœur de notre plateforme analytique. Votre expertise sur Databricks et l'environnement Spark sera essentielle pour garantir des traitements performants, sécurisés et scalables.Vos...

  • Data Engineer Spark/scala

    il y a 2 semaines

    Paris, France UCASE CONSULTING Temps plein

    **Conception et développement de pipelines de données**: Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d?autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de...

  • Data Engineer Spark

    il y a 2 semaines

    Paris, Île-de-France Sibylone Temps plein

    CDISIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l'entreprise autonomes dans l'exploitation des données,...