data engineer scala

il y a 3 jours


Paris, Île-de-France AXONE DATA Temps plein

Fiche de Poste : Data Engineer Scala

Description du Poste

En tant que Data Engineer spécialisé en Spark et Scala, vous intégrerez notre équipe technique pour concevoir, développer et optimiser des solutions de traitement de données massives. Vous serez amené à travailler principalement sur des projets batch et à utiliser des technologies de pointe dans un environnement cloud. Votre rôle consistera également à mentor et à partager vos connaissances avec les membres de l'équipe.

Responsabilités

Concevoir et développer des pipelines de données utilisant l'API Scala Spark, principalement pour des traitements batch.

Optimiser les performances des applications Spark pour gérer de grandes volumétries de données complexes.

Mettre en place et maintenir des bonnes pratiques de développement en Scala.

Utiliser Maven pour la gestion du build et des dépendances.

Travailler dans un environnement cloud, idéalement Azure ou AWS, pour déployer et gérer les solutions de données.

Collaborer avec l'équipe pour comprendre les besoins métier et proposer des solutions adaptées.

Participer à des projets multi-projets et gérer les priorités et les délais.

Assurer un mentoring et partager des connaissances avec les autres membres de l'équipe.

Compétences Technologiques

Indispensables :

Maîtrise de l'API Scala Spark pour les traitements batch.

Connaissance approfondie des techniques d'optimisation Spark.

Expérience avérée dans le traitement de volumétries de données importantes et complexes.

Compétences en développement et bonnes pratiques Scala.

Expérience avec le build Maven.

Expérience de travail en environnement cloud (Azure ou AWS de préférence).

Appréciées :

Connaissance de l'écosystème Databricks.

Compétences en développement d'API HTTP.

Connaissances en développement Python.


  • Data Engineer Spark/ Scala

    il y a 2 semaines


    Paris, Île-de-France Datapy Group Temps plein

    Vous travaillerez en tant que data engineer sur l?environnement technique suivant:- Spark- ScalaLes plus : Kafka, avoir travaillé dans un environnement cloudVous vous différencierez également par vos qualités humaines, votre savoir-êtreLe processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client permettant...


  • Paris, Île-de-France Digistrat consulting Temps plein

    Poste : Data Engineer Scala Spark Hadoop Secteurs stratégiques : Banque d'investissement Démarrage : ASAP Contexte /Objectifs :Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements.Dans ce cadre, la Prestation consiste à...

  • Data engineer scala spark

    il y a 2 semaines


    Paris, Île-de-France CELAD Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :- Conception détaillée, fonctionnelle et technique.- Développements SPARK / SCALA- Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.- Résolution des anomalies...

  • Data engineer scala spark

    il y a 4 semaines


    Paris, Île-de-France CELAD Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes :- Conception détaillée, fonctionnelle et technique.- Développements SPARK / SCALA- Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration.- Résolution des anomalies...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Intuition IT Solutions Ltd. Temps plein

    Data Engineer - Spark Scala Hadoop - minimum 3 ans d?XPau sein d?une direction de l?innovation. Recherche un profil Data science/Data analyse pour rejoindre une équipe de 6+ personnes à terme**Compétences clefs obligatoires**:Spark Scalalangage JavaBig Data (environnement Hadoop)Bon relationnel (contact métier/esprit d?équipe), bonne capacité d?analyse

  • Data Engineer Spark/scala

    il y a 2 semaines


    Paris, Île-de-France DATSUP Temps plein

    Développement et l?implémentation de solutions Big Data AnalyticsAnalyse du besoin, étude d?impacts et conception de la solution techniqueConception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, )Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data...

  • Big Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Senior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Créée en 2016 cette startups'est spécialisée dans l'analyse de données...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Octopus IT Temps plein

    Senior Data Engineer | Python - Scala - Spark - AWS | Solution SaaS dans le Big Data Type de poste : CDI Salaire : En fonction de l'xp Expérience : 4/6 ans Lieu : Paris Tags : CDI | Python - Scala - Spark - AWS Vous êtes unSenior Data Engineer et souhaitez un nouveau challenge? Et si vous rejoigniez une entreprise qui révolutionne la prise de décisions...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Agrega Temps plein

    Je recherche pour un client, un Data Engineer ayant impérativement une expérience dans le secteur de la Mutuelle/Assurance. Expérience dans le domaine Assurance/Mutuelle et connaissance des enjeux liés aux données de la Santé,Expérience en développement sous Linux, Java, Scala, Python,Expérience dans la manipulation des données avec les langages:...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Agrega Temps plein

    Je recherche pour un client, un Data Engineer ayant impérativement une expérience dans le secteur de la Mutuelle/Assurance.Expérience dans le domaine Assurance/Mutuelle et connaissance des enjeux liés aux données de la Santé,Expérience en développement sous Linux, Java, Scala, Python,**Expérience dans la manipulation des données avec les...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Astrelya Consulting & Engeneering Solutions Temps plein

    Contexte & EnjeuxCréée en 2018, ASTRELYA regroupe aujourd'hui plus de 240 experts pour accompagner ses Clients Grands Comptes dans leur transformation digitale. Dans le cadre de notre développement, nous recherchons un Data Engineer (F/H) Vos Rôles & ResponsabilitésDéveloppements Java Spark : Optimisation et gestion des évolutions de l'architecture...

  • Data engineer

    il y a 2 semaines


    Paris, Île-de-France NEXORIS Temps plein

    Notre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.Tâches et activités de la...

  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France Astrelya Consulting & Engeneering Solutions Temps plein

    **Catégorie**:Data Engineering**Type**:Temps Plein**Localisation**:ParisContexte & EnjeuxCréée en 2018, ASTRELYA regroupe aujourd'hui plus de 240 experts pour accompagner ses Clients Grands Comptes dans leur transformation digitale.Dans le cadre de notre développement, nous recherchons un **Data Engineer (F/H)**Vos Rôles &...

  • Senior Data engineer

    il y a 2 semaines


    Paris, Île-de-France Mindquest Temps plein

    Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer.Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur...

  • Data engineer

    il y a 2 semaines


    Paris, Île-de-France Nexoris Temps plein

    Nexoris est un cabinet de conseil dédié depuis 2010 aux consultants Indépendants du secteur IT & Financier intervenant dans les transformations métiers et SI de nos clients.Description du poste :Notre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de...

  • Senior Data Engineer H/F

    il y a 2 semaines


    Paris, Île-de-France Believe Temps plein

    Believe est l'un des leaders mondiaux du marché de la musique numérique. Believe a pour mission d'accompagner les artistes et les labels locaux dans l'écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développementCe sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité...

  • Data Engineer Spark

    il y a 2 semaines


    Paris, Île-de-France Bek Advisory Temps plein

    ContexteNotre client recherche un Data engineer Spark / Scala.Vous serez intégré(e) dans l'équipe Data Science et Engineering.A chaque projet, l'équipe Data Science et Engineering intervient dans les décisions d'architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes massifs,...

  • Data Engineer Big Data

    il y a 2 semaines


    Paris, Île-de-France Fincons Group Temps plein

    **Data Engineer: Scala, Spark, sbt****La Société**FINCONS GROUP est une entreprise internationale de consulting et services informatiques innovants qui accompagne les entreprises dans leur Transformation Digitale.Grâce à son expertise de 39 ans, elle possède d'excellentes compétences techniques et métier qui en font une référence en...

  • Data engineer

    il y a 1 mois


    Paris, Île-de-France Blue Soft Temps plein

    Nous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...


  • Paris, Île-de-France Almatek Temps plein

    Almatek recherche pour l'un de ses clients, Un Data engineer LCLF sur paris 13.Connaissances techniques :? Plateforme et environnement GCP (indispensable)? Environnement GKE? Développement d'API REST? Stockage : HDFS / GCS? Traitement: Maitrise de l?écosystème Spark / Kafka / Scala? Planification : Airflow / Composer? Méthodologies : Scrum, Kanban, Git?...