Data Ingénieur Spark Scala

il y a 1 jour

Paris, Île-de-France Audensiel Temps plein

Audensiel Technologies, société d'ingénierie avec le statut de Jeune Entreprise Innovante, est une structure à taille humaine en forte croissance. Nous sommes mobilisés autour de valeurs telles que l'innovation technologique, l'écoute et la réactivité.

Nous développons en interne, au sein du groupe Audensiel, plusieurs projets d'innovation qui nous permettent de valoriser les compétences de nos collaborateurs, de développer leurs savoir-faire et d'être à la pointe de l'innovation dans des domaines ciblés.

Nous recherchons un(e)
Data Engineer confirmé(e)
disposant de
3 à 5 ans d'expérience
, pour intervenir au sein d'un
grand acteur du secteur bancaire
.

Vous rejoindrez une équipe Data au cœur des enjeux réglementaires, métiers et technologiques, sur des problématiques à forte volumétrie et à haute exigence de fiabilité et de sécurité.

Missions

  • Concevoir, développer et maintenir des
    pipelines de données Big Data
    fiables et sécurisés
  • Développer des traitements distribués en
    Scala avec Apache Spark (batch et streaming)
  • Participer à la gestion et à l'évolution de la
    plateforme data bancaire
  • Garantir la qualité, la traçabilité et la conformité des données (contrôles, audits, lineage)
  • Optimiser les performances des traitements et la gestion des coûts
  • Collaborer avec les équipes métiers (risque, finance, conformité, fraude) et IT
  • Participer aux phases de tests, de mise en production et de support
  • Contribuer aux bonnes pratiques de développement et de sécurité

Profil recherché

  • 3 à 5 ans d'expérience
    en tant que Data Engineer
  • Bonne maîtrise de
    Scala
    et
    Apache Spark
  • Solide expérience sur des environnements
    Big Data
    (Hadoop, Hive, Kafka, HDFS)
  • Très bonne maîtrise du
    SQL
  • Expérience dans un
    contexte bancaire ou financier
    fortement appréciée
  • Connaissance des contraintes
    réglementaires et de sécurité
    (RGPD, auditabilité, contrôle d'accès)
  • Expérience sur un
    Cloud bancaire ou souverain
    (AWS, Azure, GCP) est un plus
  • Sensibilité aux problématiques de performance, robustesse et fiabilité
  • Bon relationnel, rigueur et esprit d'équipe

Environnement technique

  • Langages :
    Scala, SQL
    (Python apprécié)
  • Big Data :
    Spark, Hadoop, Hive, Kafka
  • Orchestration :
    Airflow
  • Cloud / Infra :
    AWS / Azure / GCP / On-Premise bancaire
  • DevOps :
    Git, CI/CD, Docker, Kubernetes
  • Sécurité : gestion des accès, chiffrement, traçabilité

  • DATA ENGINEER Scala, Spark, AWS

    il y a 1 semaine

    Paris, Île-de-France emagine Temps plein

    Introductionemagine recherche un Data engineer pour l'un de ces clients finaux dont le rôle sera de concevoir et implémenter des pipelines d'ingestion de données tout en garantissant la performance et la scalabilité des processus de données.Durée : 36 mois maximumPrestation en freelance à temps plein en mode hybride (2 jours par...

  • data engineer spark

    il y a 7 jours

    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour ?,Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure.Missions principales :Participer au développement des User Stories (US) et réalisation des tests associés.Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d?exploitation.Mettre...

  • Data Ingénieur

    il y a 1 semaine

    Paris, Île-de-France SThree Temps plein

    Le rôle du Data Engineer dans ce projet consistera à : Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks)Traiter et normaliser les donnéesRefactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers)...

  • Data Engineer Spark

    il y a 2 semaines

    Paris, Île-de-France Sibylone Temps plein

    CDISIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l'entreprise autonomes dans l'exploitation des données,...

  • Big data

    il y a 1 jour

    Paris, Île-de-France Hanson Regan Limited Temps plein

    Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to BelgiumAdvanced Data & Application LifecycleData Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...),Application design, development, testing & deployment, Requirement AnalysisAdvanced Data Processing &...

  • Data Engineer AWS

    il y a 1 jour

    Paris, Île-de-France Cherry Pick Temps plein

    Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l?analyse de leurs données et KPI.Les infrastructures et projets incluent :AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI,...

  • Data Engineer Advanced

    il y a 3 jours

    Paris, Île-de-France Free-Work Temps plein

    ContexteNous recherchons unData Engineer confirmé à seniorpour intervenir au sein d'ungrand groupe international du secteur de l'énergie.La mission s'inscrit dans un environnementdata critique, lié à l'exploitation dedonnées de marchéet à la production d'indicateurs et d'alertes à forte valeur métier.Le système cible repose sur une...

  • Data Engineer – Spark Specialist

    il y a 2 semaines

    Paris, Île-de-France Dataiku Temps plein

    Dataiku is The Universal AI Platform, giving organizations control over their AI talent, processes, and technologies to unleash the creation of analytics, models, and agents. Providing no-, low-, and full-code capabilities, Dataiku meets teams where they are today, allowing them to begin building with AI using their existing skills and knowledge.About the...

  • Data scientiste

    il y a 2 semaines

    Paris, Île-de-France Craftman data Temps plein

    La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.La Direction Data a 3 grandes missions : maximiser...

  • Architecte / Ingénieur Data Senior (H/F) (IT) / Freelance

    il y a 1 semaine

    Paris, Île-de-France ESPACE FREELANCE Temps plein

    Espace Freelance recherche pour l'un de ses clients un : Architecte / Ingénieur Data Senior (H/F)Vos missionsConcevoir l?architecture data pour l?ingestion, le stockage et l?exposition des données IoT.Développer des pipelines évolutifs pour données structurées et non structurées.Définir la stratégie technique et garantir l?intégration/déploiement...