Data Engineer Spark Senior

il y a 1 mois


Paris, France KLETA Travail à distance Freelance Temps plein
  1. Analyse des Exigences :

  2. Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.

Conception de Solutions :

Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.

Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.

Développement de Pipelines de Données :

Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.

Utiliser Spark Streaming pour le traitement en temps réel des flux de données.

Optimisation des Performances :

Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.

Gestion des Versions :

Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.

Tests et Validation :

Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.

Valider la qualité des données à différentes étapes du pipeline.

Déploiement et Monitoring :

Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.

Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.

Sécurité :

Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.

Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.

Documentation :

Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.

Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.


  • Senior Data Engineer

    il y a 2 semaines


    Paris, France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, France Pulsover Temps plein

    À propos de Pulsover :  Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et à...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Data Engineer

    il y a 4 semaines


    Paris, France Data Recrutement Temps plein

    Offre publiée le 20-03-2024.- Paris - Fonction Data engineer hadoop spark - Taille entreprise de 21 à 50 - Télétravail partiel - Technologies Azure - Technologies Etl - Technologies Spark - Expérience 3 à 5 ans - Statut CDI - Min 60k€ - Max 70k€ - Why: - **Entreprise rentable**: - **Challenger sur son marché**: - **Entreprise à...

  • Data Engineer Spark

    il y a 1 mois


    Paris, France UCASE CONSULTING Temps plein

    Je recherche pour l?un de mes clients dans le domaine Banque/Assurance un Data Engineer. Contexte: En tant que Data Engineer vous participerez à la continuité du déploiement de notre architecture BigData: Missions: - Maintenir le code existant - Concevoir et développer de nouvelles fonctions - Mettre en place des pipelines de données. - Metttre en...

  • Data Engineer senior Spark

    il y a 2 semaines


    Paris, France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data Engineer senior Spark

    il y a 4 semaines


    Paris, France Sibylone Temps plein

    SIBYLONE , société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité. Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des...

  • Data Engineer senior Spark

    il y a 4 semaines


    Paris, France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data Engineer senior Spark

    il y a 2 semaines


    Paris, Ile-de-France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data Engineer Spark

    il y a 1 mois


    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. **Mission**: **Livrables n 1**: Sprint n 1 **+ Lot 1**: développement des US et tests associés ; **+ Lot 2**: Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; **+ Lot 3**: Mise en place du CI/CD sur notre usine...

  • DATA ENGINEER SPARK

    il y a 2 semaines


    Paris, France UCASE CONSULTING Temps plein

    Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4...

  • DATA ENGINEER SPARK

    il y a 1 mois


    Paris, France UCASE CONSULTING Temps plein

    Bonjour,Pour le compte de notre client, nous recherchons un data engineer spark / scala.Mission : Livrables n 1 : Sprint n 1+ Lot 1 : développement des US et tests associés ;+ Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ;+ Lot 3 : Mise en place du CI/CD sur notre usine logicielle ;+ Lot 4 : Mise...

  • Data Engineer

    il y a 1 mois


    Paris, France Data Recrutement Temps plein

    Offre publiée le 20-03-2023.- Paris - Fonction Data engineer hadoop spark - Taille entreprise de 51 à 200 - Télétravail partiel - Technologies Data studio - Technologies Gcp - Technologies Python - Technologies Sql - Expérience 3 à 5 ans - Expérience 6 à 10 ans - Statut CDI - Min 60k€ - Max 80k€ - Why: - **Croissance à deux chiffres**: -...


  • Paris, Île-de-France KLETA Temps plein

    Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques....

  • Data Engineer Senior H/F

    il y a 1 mois


    Paris, France Crédit Agricole Assurances Temps plein

    Description du poste Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à...

  • Data Engineer Senior H/F

    il y a 1 mois


    Paris, Île-de-France Credit Agricole Assurances Temps plein

    Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...

  • Data Engineer Senior H/F

    il y a 1 mois


    Paris, France Credit Agricole Assurances Temps plein

    Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...

  • Senior Data Engineer

    il y a 1 mois


    Paris, France Algolia Temps plein

    We’re on a mission to make Algolia a data-driven organisation, and we’re looking for a Senior Data Engineer to join our Data team and help us get there. Our Data team aims at helping other teams make better decisions by providing relevant data while ensuring its integrity and its consistency. This team has a significant impact as we work closely with...


  • Paris, France AI&DATA Temps plein

    La mission Sur ce poste, vous serez intégré(e) à une équipe de projet et participerez à la mise en place de projets Big Data en intervenant notamment sur les missions suivantes : Analyser les besoins clients et formaliser les cas d’usages correspondants, Participer activement à la conception et à la réalisation des solutions Big Data, ...

  • Data Engineer Senior

    il y a 1 mois


    Paris, France BI NEWVISION Temps plein

    Nous recherchons un Data Engineer Sénior H/F avec une forte expertise sur Azure, Databricks, Spark, Scala. Développement et l?implémentation de solutions Big Data Analytics Analyse du besoin, étude d?impacts et conception de la solution technique Conception et modélisation des données au niveau d?un Data Lake (format Parquet, Delta table,...