DATA ENGINEER Scala, Spark, AWS
il y a 2 semaines
Introduction
emagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.
Durée : 36 mois maximum
Prestation en freelance à temps plein en mode hybride (2 jours par semaine).
Responsabilités :
Ce poste implique la responsabilité de concevoir et de mettre en œuvre des pipelines de données.Essentielles sont les tâches suivantes :
- Concevoir et implémenter les composants/pipelines d'ingestion de données en Scala Spark.
- Traiter et normaliser les données.
- Refactoriser des imports pour respecter l'architecture médaille.
- Appliquer les règles métier pour la création de la couche gold.
- Distribuer les données aux différents consommateurs/Métiers.
- Implémenter les règles de qualité des données (Data Quality framework).
- Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance).
- Rédiger et maintenir la documentation technique des développements réalisés.
- Garantir le respect des standards du Groupe en matière de qualité et de sécurité des données.
- Participer à la maintenance du calculateur en Scala Spark avec des objectifs de performance et de scalabilité.
- Importer des données de marché via des traitements ETL.
Key Requirements :
- Compétence en Scala et Spark.
- Expérience sur AWS cloud (Glue jobs, Lambda, Step Functions).
- Connaissance des architectures médaille (silver & gold layers).
- Compétences en traitement des données (ETL).
- Connaissance des principes de Data Quality.
Nice to Have :
- Expérience avec des outils de monitoring et de CI/CD.
- Compétences en optimisation des performances.
-
Data Ingénieur Spark Scala
il y a 6 jours
Paris, Île-de-France Audensiel Temps pleinAudensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous...
-
Data Engineer AWS
il y a 6 jours
Paris, Île-de-France Cherry Pick Temps pleinDans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...
-
Data Engineer AWS
il y a 19 heures
Paris, Île-de-France Collective Temps pleinBudget: à définir selon le profilMissionsAssurer la maintenance et l'exploitation opérationnelle de la plateforme data (cloud AWS, Dataiku, Scala Spark).Concevoir et développer des pipelines de données performants et fiables.Garantir la qualité et la disponibilité des données sur l'ensemble des environnements.Participer à la mise en place des bonnes...
-
Data Engineer AWS
il y a 6 jours
Paris, Île-de-France Collective Temps pleinBudget: 500En quelques motsCherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des MédiasDescription Le Contexte : Un Programme DATA AmbitieuxVous rejoignez la Direction DATA d'ungrand groupe média d'envergure internationale. Dans le cadre d'un vaste programme de transformation, le groupe déploie des outils et processus...
-
data engineer spark
il y a 2 semaines
Paris, Île-de-France UCASE CONSULTING Temps pleinBonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...
-
Data Engineer AWS H/F
il y a 2 semaines
Paris, Île-de-France NEXTON Temps pleinDescription de l'entreprise Qui sommes-nous ?Rejoindre NEXTON, c'est intégrer une entreprise où convergent l'esprit d'un cabinet de conseil, la créativité d'une agence et la dynamique d'une ESN Grâce à notre expertise, nous accompagnons des clients grands comptes et des pure players tels que SNCF, Orange, et BNP Paribas dans leurs stratégies...
-
Data Engineer Expérimenté
il y a 2 semaines
Paris, Île-de-France MP DATA Temps pleinNous recherchons un(e)Data Engineer expérimenté(e)pour intervenir sur lamise en production, la fiabilisation et l'évolutiond'une plateforme data moderne basée surAWS, Spark et Dataiku.Vous participerez activement à laconstruction et l'optimisationdes environnements de traitement de données à grande échelle, en lien étroit avec les équipes Data...
-
Data Engineer AWS H/F
il y a 2 semaines
Paris, Île-de-France MERITIS Temps pleinDescriptif de l'entreprise:Meritis est un cabinet de conseil spécialisé en IT pour la finance, reconnu comme un acteur clé du secteur. A titre d'exemple, 1 er partenaire et principal fournisseur d'Amundi, 2 nd fournisseur de BNPP CIB et partenaire majeur de Natixis, nous accompagnons l'ensemble des banques d'investissement, intermédiaires de marchés,...
-
Data Engineer Advanced
il y a 1 semaine
Paris, Île-de-France Free-Work Temps pleinContexteNous recherchons unData Engineer confirmé à seniorpour intervenir au sein d'ungrand groupe international du secteur de l'énergie.La mission s'inscrit dans un environnementdata critique, lié à l'exploitation dedonnées de marchéet à la production d'indicateurs et d'alertes à forte valeur métier.Le système cible repose sur une...
-
Big data
il y a 6 jours
Paris, Île-de-France Hanson Regan Limited Temps pleinHanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to BelgiumAdvanced Data & Application LifecycleData Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...),Application design, development, testing & deployment, Requirement AnalysisAdvanced Data Processing &...