Data Engineer Spark Senior

il y a 1 mois


Paris, Île-de-France KLETA Temps plein
  1. Analyse des Exigences :
  2. Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.
  3. Conception de Solutions :
  4. Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.
  5. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.
  6. Développement de Pipelines de Données :
  7. Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.
  8. Utiliser Spark Streaming pour le traitement en temps réel des flux de données.
  9. Optimisation des Performances :
  10. Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.
  11. Gestion des Versions :
  12. Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.
  13. Tests et Validation :
  14. Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.
  15. Valider la qualité des données à différentes étapes du pipeline.
  16. Déploiement et Monitoring :
  17. Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.
  18. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.
  19. Sécurité :
  20. Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.
  21. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.
  22. Documentation :
  23. Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.
  24. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France Pulsover Temps plein

    À propos de Pulsover : Pulsover est un cabinet de conseil spécialisé dans la data, le cloud et le delivery. La mission de nos consultants Pulsover est d'accompagner des entreprises de toutes tailles dans leur transformation digitale grâce à la combinaison de leur expertise technique et de leur capacité à gérer des projets internationaux et...

  • Data Engineer senior Spark

    il y a 2 semaines


    Paris, Ile-de-France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data Engineer Senior H/F

    il y a 1 mois


    Paris, Île-de-France Credit Agricole Assurances Temps plein

    Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...

  • Data Engineer Talend

    il y a 2 semaines


    Paris, Ile-de-France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data engineer

    il y a 1 mois


    Paris, Île-de-France BlueSoftGroup Temps plein

    Nous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...

  • Ingénieur Data Spark

    il y a 2 semaines


    Paris, Île-de-France HN SERVICES Temps plein

    La Direction des Systèmes d'Information a pour missions de mettre au quotidien à disposition des utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d'accompagner le développement commercial du Groupe en France...

  • Data Engineer Senior

    il y a 2 semaines


    Paris, Ile-de-France SoyHuCe|a JAKALA company Temps plein

    SoyHuCe est le Center of Excellence en data/IA de JAKALA.Les équipes SoyHuCe combinent les expertises nécessaires à la création de solution data clé-en-main : collecte, traitement, analyse, algorithmie, exploitation, intégration et UX/UI.SoyHuCe répond ainsi à des cas d’usage variés, dans de multiples secteurs : retail, énergie, loisirs,...

  • Ingénieur Data SPARK/SCALA

    il y a 2 semaines


    Paris, Île-de-France DHM IT Temps plein

    Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies...

  • ingenieur data spark scala f/h

    il y a 2 semaines


    Paris, Île-de-France GENIOUS Temps plein

    Genious Systèmes recherche pour un de ses clients un Ingénieur Data Spark Scala F/HContexte Mission:Sur une architecture Big Data permettant de collecter les données de l'ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata.Cette...

  • Senior Data Engineer AWS

    il y a 3 semaines


    Paris, Île-de-France Devoteam Temps plein

    Description de l'entrepriseLe data engineering est essentiel pour l'analyse de données. En construisant et en optimisant les pipelines de données, les data engineers permettent aux entreprises d'exploiter pleinement leur potentiel analytique. Leur rôle crucial dans la collecte, le stockage et le traitement des données garantit une base solide pour les...

  • Senior Data Science

    il y a 4 jours


    Paris, Île-de-France NES Fircroft Temps plein

    Senior Data Science & Machine Learning Engineer – 12 Months Contract – Central Paris, France Hybrid 3 days on site 2 days remote Start asap Fluent in French and English Required:- 5 years in Data Science and at least 2 years in MLOps (Azure, AWS). ML/AI algorithm ++++ Senior, Python ++++ Senior, MLOps +++ Medior, Databricks +++ Médior, AWS/Azure +++...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France Continuity Temps plein

    La colonne vertébrale de notre solution est un pipeline de data et de ML qui permet d'enrichir chaque dossier analysé avec des données externes, de qualifier le risque (activité, adresse, bâtiment, situation financière, historique de sinistre) pour répondre à deux questions simples : le dossier peut-il être accepté ou refusé ? le contrat...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France Adevinta Temps plein

    Au sein d'une équipe composée de Data Engineers, sous la responsabilité d'un Engineering Manager et en collaboration directe avec les chefs de projets CRM, vous participerez à l'intégralité du processus de développement des features CRM en intervenant sur la partie Data Engineer.En tant que Data Engineer, vous contribuerez en particulier à...

  • Data Engineer Senior

    il y a 2 semaines


    Paris, Ile-de-France Econocom Temps plein

    L’entité Apps, Cloud & Data du groupe Econocom accompagne les entreprises dans leurs projets de transformation et de modernisation de leurs applications en apportant son expertise et savoir-faire dans les nouvelles technologies, le cloud et la data.Nous associons, dans une même chaîne de valeur le : conseil en stratégie, design de plateformes cloud...

  • Senior Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France QUANT AI Lab Temps plein

    Chez QUANT AI LAB, nous travaillons avec nos clients pour les aider à résoudre leurs problèmes, de la définition de la stratégie à la mise en œuvre de solutions robustes et durables. Nous nous appuyons sur notre approche opérationnelle qui lie conseil et outils.Nous avons le projet d'accompagner nos clients sur le long terme avec nos convictions,...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France Adevinta Temps plein

    Within a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...


  • Paris, Île-de-France Cogigroup Temps plein

    Je recherche un Tech Lead Big Data – Expert Java - Spark :• Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l'utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven)• Rôle orienté RUN mais quelques évolutions peuvent...

  • Tech Lead Spark Scala

    il y a 2 semaines


    Paris, Ile-de-France Sibylone Temps plein

    SIBYLONE, société de conseil spécialisée dans les systèmes d’information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité.Notre ambition : rendre les différents acteurs de l’entreprise autonomes dans l’exploitation des données,...

  • Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France ALFI : Financial Markets Consultancy Services Temps plein

    Le Data Engineer intervient au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning.Votre rôle et vos missions :Vous aurez pour missions principales de...

  • Data engineer

    il y a 2 jours


    Paris, Île-de-France NEXORIS Temps plein

    Notre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.Tâches et activités de la...