Data Engineer Spark/scala

il y a 7 jours


Paris, France DATSUP Temps plein

Développement et l?implémentation de solutions Big Data Analytics
Analyse du besoin, étude d?impacts et conception de la solution technique
Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, )
Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake

**Développements de notebooks (ex**: Databricks) de traitements avancés des données
Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
Rédaction de documentation technique (Dossier d?Analyse Technique, release delivery note,.)
Revue de code
Réalisation de tests unitaires
Maintenance corrective et évolutive
Livraison dans un environnement Devops, CI/CD et outils associés

Un profil avec une forte expérience sur Azure data bricks, Spark ,Scala



  • Paris, Île-de-France emagine Temps plein

    Introductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...

  • Data Ingénieur Spark Scala

    Il y a 20 minutes


    Paris, Île-de-France Audensiel Temps plein

    Audensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous...

  • Data Engineer

    il y a 4 jours


    Paris, France Cherry Pick Temps plein

    Cherry Pick est à la recherche d'un Data Engineer pour l'un de ses clients dans le secteur du luxe. **Missions**: Concevoir et développer des pipelines de données performants pour répondre aux besoins spécifiques du secteur du luxe. Traiter et transformer des données massives en utilisant Spark et Scala. Implémenter et maintenir des modèles de...

  • Data Engineer Spark

    il y a 4 jours


    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client nous recherchons un data engineer spark / python / databricks / azure. Attentes: - Spark/Python (API dataframe, dataset, rdd) + Librairie ScalaTest - Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault -...

  • Data Engineer

    il y a 2 semaines


    Paris, France Cherry Pick Temps plein

    La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. **Description de la mission**: Nous...

  • Data Engineer Spark

    il y a 2 semaines


    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Engineer Spark

    Il y a 31 minutes


    Paris, Île-de-France Sibylone Temps plein

    CDISIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l'entreprise autonomes dans l'exploitation des données,...

  • Data Engineer Confirmé

    il y a 2 semaines


    Paris, France Kaïbee Temps plein

    En tant que Data Engineer, vous jouerez un rôle clé dans la conception, le développement et la maintenance de pipelines de données robustes et évolutifs. Vous travaillerez en étroite collaboration avec les équipes de data scientists et d?analystes pour garantir la disponibilité et la qualité des données. **Vos missions principales**: ? Concevoir et...

  • Data Engineer Advanced

    Il y a 42 minutes


    Paris, Île-de-France Free-Work Temps plein

    ContexteNous recherchons unData Engineer confirmé à seniorpour intervenir au sein d'ungrand groupe international du secteur de l'énergie.La mission s'inscrit dans un environnementdata critique, lié à l'exploitation dedonnées de marchéet à la production d'indicateurs et d'alertes à forte valeur métier.Le système cible repose sur une...

  • Data Engineer AWS

    Il y a 30 minutes


    Paris, Île-de-France Cherry Pick Temps plein

    Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...