Data Engineer Spark/scala

il y a 6 jours

Paris, France UCASE CONSULTING Temps plein

**Conception et développement de pipelines de données**:
Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d?autres outils Big Data.
Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.).
Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python).
**Optimisation et maintenance**:
Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.).
Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées.
**Automatisation des processus**:
Mettre en place et gérer des workflows d?automatisation des tâches avec Apache Airflow.
Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins.
Collaboration avec les équipes de data science et d?infrastructure:
Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès.
Travailler étroitement avec les équipes d?infrastructure pour assurer la stabilité et la scalabilité des pipelines de données.
**Veille technologique**:
Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines.
**Langages de programmation**:
**Scala et Python**: Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python.
**Technologies Big Data**:
**Apache Spark**: Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python.
**Apache Airflow**: Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production.
**Outils de CI/CD**:
**Jenkins**: Expérience avec Jenkins pour l?automatisation des déploiements et des tests des pipelines de données.
**Bases de données et gestion des données**:
Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).
**Conception et développement de pipelines de données**:
Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d?autres outils Big Data.
Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.).
Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python).
**Optimisation et maintenance**:
Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.).
Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées.
**Automatisation des processus**:
Mettre en place et gérer des workflows d?automatisation des tâches avec Apache Airflow.
Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins.
Collaboration avec les équipes de data science et d?infrastructure:
Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès.
Travailler étroitement avec les équipes d?infrastructure pour assurer la stabilité et la scalabilité des pipelines de données.
**Veille technologique**:
Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines.
**Langages de programmation**:
**Scala et Python**: Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python.
**Technologies Big Data**:
**Apache Spark**: Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python.
**Apache Airflow**: Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production.
**Outils de CI/CD**:
**Jenkins**: Expérience avec Jenkins pour l?automatisation des déploiements et des tests des pipelines de données.
**Bases de données et gestion des données**:
Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

  • Data Engineer Scala Spark Hadoop

    Il y a 3 mois

    Paris, France Digistrat consulting Temps plein

    **? Poste**: Data Engineer Scala Spark Hadoop **? Secteurs stratégiques**: Banque d?investissement **? Démarrage**: ASAP **? Contexte /Objectifs**: Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. **Dans ce cadre, la...

  • Data Engineer Spark/ Scala

    Il y a 6 mois

    Paris, France Datapy Group Temps plein

    Vous travaillerez en tant que data engineer sur l?environnement technique suivant: - Spark - Scala Les plus : Kafka, avoir travaillé dans un environnement cloud Vous vous différencierez également par vos qualités humaines, votre savoir-être Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client...

  • Data Engineer Spark

    Il y a 6 mois

    Paris, France Bek Advisory Temps plein

    Contexte Notre client recherche un Data engineer Spark / Scala. Vous serez intégré(e) dans l’équipe Data Science et Engineering. A chaque projet, l’équipe Data Science et Engineering intervient dans les décisions d’architecture et le cadrage fonctionnel, la conception technique, puis implémente les traitements : transformations (volumes...

  • Data Engineer

    Il y a 6 mois

    Paris, France Intuition IT Solutions Ltd. Temps plein

    Data Engineer - Spark Scala Hadoop - minimum 3 ans d?XP au sein d?une direction de l?innovation. Recherche un profil Data science/Data analyse pour rejoindre une équipe de 6+ personnes à terme **Compétences clefs obligatoires**: Spark Scala langage Java Big Data (environnement Hadoop) Bon relationnel (contact métier/esprit d?équipe), bonne capacité...

  • Data Engineer Scala Spark Hadoop

    Il y a 2 mois

    Paris, France Digistrat consulting Temps plein

    ? Poste : Data Engineer Scala Spark Hadoop? Secteurs stratégiques : Banque d?investissement? Démarrage : ASAP? Contexte /Objectifs :Notre client souhaite une assistance dans le cadre de la mise en ?uvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements.Dans ce cadre, la Prestation...

  • Data Engineer Spark

    Il y a 6 mois

    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. **Mission**: **Livrables n 1**: Sprint n 1 **+ Lot 1**: développement des US et tests associés ; **+ Lot 2**: Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; **+ Lot 3**: Mise en place du CI/CD sur notre usine...

  • Data Engineer

    Il y a 6 mois

    Paris, France NEXORIS Temps plein

    Notre client bancaire recherche un consultant Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et...

  • Data Engineer Spark Scala

    Il y a 6 mois

    Paris, France Digistrat consulting Temps plein

    **Dans ce cadre, la mission consiste à contribuer à/au(x)**: L?architecture avec le reste de l?entité (tech lead, devs, architecture). Mise en ?uvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. **Les...

  • Data Engineering

    Il y a 6 mois

    Paris, France Digistrat consulting Temps plein

    ? Contexte /Objectifs: L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et...

  • Data Engineer Spark/scala

    Il y a 6 mois

    Paris, France DATSUP Temps plein

    Développement et l?implémentation de solutions Big Data Analytics Analyse du besoin, étude d?impacts et conception de la solution technique Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table, ) Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data...

  • Data Engineer Talend

    Il y a 6 mois

    Paris, France BI consulting Temps plein

    Vos missions En tant que Data Engineer , vos missions seront les suivantes : Analyser, comprendre et cadrer une architecture permettant de répondre aux besoins métiers des clients Concevoir et mettre en place des plateformes Data en tenant compte des contraintes tant techniques que fonctionnelles Intervenir sur la conception et le...

  • Data Engineer Spark Scala

    Il y a 6 mois

    Paris 8e, France MERITIS Temps plein

    Descriptif du poste Nous recherchons des Data Engineers pour intervenir sur plusieurs projets innovants et de grande envergure dans les secteurs de la Banque, de l'Assurances, du Transport, de l'Energie, de la Télécommunication ou encore du Retail ! Vos missions: Conception de plateformes permettant de traiter une grosse volumétries de données Analyse...

  • Data Engineer

    Il y a 2 mois

    Paris, France Cherry Pick Temps plein

    La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La personne sera intégrée dans l'équipe projet qui fonctionne dans une organisation en mode Agile. **Description de la mission**: Nous...

  • Data Engineer Spark

    Il y a 6 mois

    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Engineer Spark/scala/python

    il y a 1 mois

    Paris, France Apside Temps plein

    **OPPORTUNITE A POURVOIR : Data Engineer** **Découvrez la Vie Apsidienne** et vous aussi, devenez Apsidien** **On aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut,** mais on préfère que vous le découvriez vous-mêmes **Découvrez votre future mission** **Contexte** En tant que Data Engineer, vous serez...

  • Data Engineer

    Il y a 6 mois

    Paris, France Astrelya Consulting & Engeneering Solutions Temps plein

    **Catégorie**:Data Engineering**Type**:Temps Plein**Localisation**:ParisContexte & Enjeux Créée en 2018, ASTRELYA regroupe aujourd’hui plus de 240 experts pour accompagner ses Clients Grands Comptes dans leur transformation digitale. Dans le cadre de notre développement, nous recherchons un **Data Engineer (F/H)** Vos Rôles &...

  • Data Engineer Python/spark

    Il y a 2 mois

    Paris, France VISIAN Temps plein

    Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront: Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la...

  • Data Engineer

    Il y a 2 mois

    Paris, France SARIEL Temps plein

    Bonjour, Nous recherchons pour un pote à pourvoir ASAP pour notre client banque basé en Région parisienne un profil Data Engineer La mission consiste à intégrer l'équipe Projets en charge de l'intégration des données de l'entreprise au sein de la plateforme Data sous le Cloud Azure afin de couvrir les besoins Big Data et BI de nos métiers. La...

  • Data Engineer Spark/Scala/Python

    Il y a 2 mois

    Paris, France Apside Temps plein

    OPPORTUNITE A POURVOIR : Data Engineer Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l'ESN qu'il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission ContexteEn tant que Data Engineer, vous serez intégré chez l'un de nos...

  • Data Engineer Talend

    Il y a 6 mois

    Paris 2e, France SIBYLONE Temps plein

    Descriptif du poste Nous recherchons pour l’un de nos clients du domaine bancaire: Un.e Data Engineer Le Data Engineer intégrera une équipe projet Big Data dont l’objectif premier est de conduire des projets ayant traits à des problématiques d’architecture et de conception. Le Data Engineer sera en charge de la maintenance, du support et de...