DATA ENGINEER Scala, Spark, AWS

il y a 2 semaines


Paris, Île-de-France emagine Temps plein

Introduction

emagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.

Durée : 36 mois maximum

Prestation en freelance à temps plein en mode hybride (2 jours par semaine).

Responsabilités :

Ce poste implique la responsabilité de concevoir et de mettre en œuvre des pipelines de données.Essentielles sont les tâches suivantes :

  • Concevoir et implémenter les composants/pipelines d'ingestion de données en Scala Spark.
  • Traiter et normaliser les données.
  • Refactoriser des imports pour respecter l'architecture médaille.
  • Appliquer les règles métier pour la création de la couche gold.
  • Distribuer les données aux différents consommateurs/Métiers.
  • Implémenter les règles de qualité des données (Data Quality framework).
  • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance).
  • Rédiger et maintenir la documentation technique des développements réalisés.
  • Garantir le respect des standards du Groupe en matière de qualité et de sécurité des données.
  • Participer à la maintenance du calculateur en Scala Spark avec des objectifs de performance et de scalabilité.
  • Importer des données de marché via des traitements ETL.

Key Requirements :

  • Compétence en Scala et Spark.
  • Expérience sur AWS cloud (Glue jobs, Lambda, Step Functions).
  • Connaissance des architectures médaille (silver & gold layers).
  • Compétences en traitement des données (ETL).
  • Connaissance des principes de Data Quality.

Nice to Have :

  • Expérience avec des outils de monitoring et de CI/CD.
  • Compétences en optimisation des performances.


  • Paris, Île-de-France Audensiel Temps plein

    Audensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous...

  • Data Engineer AWS

    il y a 6 jours


    Paris, Île-de-France Cherry Pick Temps plein

    Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...

  • Data Engineer AWS

    il y a 19 heures


    Paris, Île-de-France Collective Temps plein

    Budget: à définir selon le profilMissionsAssurer la maintenance et l'exploitation opérationnelle de la plateforme data (cloud AWS, Dataiku, Scala Spark).Concevoir et développer des pipelines de données performants et fiables.Garantir la qualité et la disponibilité des données sur l'ensemble des environnements.Participer à la mise en place des bonnes...

  • Data Engineer AWS

    il y a 6 jours


    Paris, Île-de-France Collective Temps plein

    Budget: 500En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des MédiasDescription Le Contexte : Un Programme DATA AmbitieuxVous rejoignez la Direction DATA d'ungrand groupe média d'envergure internationale. Dans le cadre d'un vaste programme de transformation, le groupe déploie des outils et processus...

  • data engineer spark

    il y a 2 semaines


    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Engineer AWS H/F

    il y a 2 semaines


    Paris, Île-de-France NEXTON Temps plein

    Description de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...

  • Data Engineer Expérimenté

    il y a 2 semaines


    Paris, Île-de-France MP DATA Temps plein

    Nous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...

  • Data Engineer AWS H/F

    il y a 2 semaines


    Paris, Île-de-France MERITIS Temps plein

    Descriptif de l'entreprise:Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d'Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l'ensemble des banques d'investissement, intermédiaires de marchés,...

  • Data Engineer Advanced

    il y a 1 semaine


    Paris, Île-de-France Free-Work Temps plein

    ContexteNous recherchons unData Engineer confirmé à seniorpour intervenir au sein d'ungrand groupe international du secteur de l'énergie.La mission s'inscrit dans un environnementdata critique, lié à l'exploitation dedonnées de marchéet à la production d'indicateurs et d'alertes à forte valeur métier.Le système cible repose sur une...

  • Big data

    il y a 6 jours


    Paris, Île-de-France Hanson Regan Limited Temps plein

    Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to BelgiumAdvanced Data & Application LifecycleData Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...),Application design, development, testing & deployment, Requirement AnalysisAdvanced Data Processing &...