Data Engineer

il y a 3 semaines


Paris, Île-de-France Mindquest Temps plein

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l'enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks .... Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d'origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d'éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d'éviter d'avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d'alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l'api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d'une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d'une librairie générique Spark pour les jobs d'ingestion via parquet/csv/json


  • Data Engineer

    il y a 2 semaines


    Paris, Île-de-France IEF2I Temps plein

    Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA EngineerAttention: Partenariat exclusif avec notre écoleMissions : Effectuer l'intégration et la...

  • Data engineer

    il y a 1 mois


    Paris, Île-de-France BlueSoftGroup Temps plein

    Nous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France Adevinta Temps plein

    Within a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...

  • Data Engineer

    il y a 1 mois


    Paris, Île-de-France Digistrat consulting Temps plein

    Poste : Data Engineer / cube OLAP / cach in memory / base de données distribuée Secteurs stratégiques : Banque d'investissement Démarrage : ASAP Contexte /Objectifs : Au sein d'une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France Adevinta Temps plein

    Au sein d'une équipe composée de Data Engineers, sous la responsabilité d'un Engineering Manager et en collaboration directe avec les chefs de projets CRM, vous participerez à l'intégralité du processus de développement des features CRM en intervenant sur la partie Data Engineer.En tant que Data Engineer, vous contribuerez en particulier à...

  • Data engineer

    il y a 1 mois


    Paris, Île-de-France HN SERVICES Temps plein

    Le Machine Learning Engineer est un développeur au sein de l'équipe Engineering Open Big Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning.Cette Guilde est dédiée au service et de ses équipes (Data office, Tribus, Business,...

  • Data Engineer

    il y a 1 mois


    Paris, Île-de-France skiils Temps plein

    Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ».Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective &...

  • data engineer aws

    il y a 1 mois


    Paris, Île-de-France SILAMIR Temps plein

    OS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience.TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l'organisation, la valorisation, la synthèse et la modélisation des données Développement...

  • Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France ALFI : Financial Markets Consultancy Services Temps plein

    Le Data Engineer intervient au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning.Votre rôle et vos missions :Vous aurez pour missions principales de...

  • Data Engineer

    il y a 4 semaines


    Paris, Île-de-France Harry Hope Temps plein

    Notre client, société en pleine croissance, spécialisé dans le domaine de la Big Data, recherche des Consultants Data Engineer Participez à cette aventure et rejoignez une formidable équipe. Vos missions principales seront diversifiées, comprenant notamment :- Participation aux processus d'avant-vente : Vous contribuerez à l'élaboration des...

  • data engineer azure

    il y a 1 mois


    Paris, Île-de-France UCASE CONSULTING Temps plein

    Bonjour à tous, Je recherche pour un de mes clients dans le domaine de l'immobilier un consultant Data Engineer Azure : Echanger et challenger les métiers dans leurs besoins Rédiger les spécifications techniques et fonctionnelles Concevoir les solutions d'intégration de la donnée Participer au développement de reporting aux équipes métiers Stack...

  • Data Engineer

    il y a 3 semaines


    Paris, Île-de-France Publicis Groupe Temps plein

    Description de l'entreprisePublicis Sapient agit d epuis plus de 30 ans au service de la transformation digitale des entreprises. Notre expertise unique regroupée sous l'acronyme SPEED, Stratégie et Conseil, Produit, Expérience, Engineering et Data combinée à notre connaissance approfondie du secteur, nous permet de créer, avec nos clients, des...

  • DATA Engineer

    il y a 4 semaines


    Paris, Île-de-France Renault Group Temps plein

    Votre environnementLe métier Procurement de Renault est en pleine transformation et nécessite des outils performants pour gérer son réseau de fournisseurs, simuler des scénarios et anticiper les risques associés (logistiques, qualité, managériaux, sociaux-économiques, écologiques) .En s'appuyant sur les partenariats stratégiques de Renault avec...

  • Data Engineer

    il y a 5 jours


    Paris, Île-de-France NEXORIS Temps plein

    Notre client, un groupe bancaire, recherche un consultant techino-fonctionnel, Data engineer risque de crédit (H/F).Renforcement de l'équipe pour le projet Surveillance Crédit, axé sur la production de POC, l'analyse métier, et le développement de solutions tactiques.Tâches et activités de la missionContribution à la production de POC (Proof of...

  • Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France Beelix Temps plein

    Qui sommes-nous ?Depuis 2016, nous accompagnons nos clients sur des problématiques de Product Management, Data et Design Thinking. Beelix contribue à façonner le monde de demain en participant aux grandes avancées des secteurs suivants:Automobile⚡EnergieMédias & TélécomsLuxe & Retail Banque, Finance & Assurance✈️DéfenseAujourd’hui, Beelix...

  • Data Engineer Senior

    il y a 2 semaines


    Paris, Ile-de-France SoyHuCe|a JAKALA company Temps plein

    SoyHuCe est le Center of Excellence en data/IA de JAKALA.Les équipes SoyHuCe combinent les expertises nécessaires à la création de solution data clé-en-main : collecte, traitement, analyse, algorithmie, exploitation, intégration et UX/UI.SoyHuCe répond ainsi à des cas d’usage variés, dans de multiples secteurs : retail, énergie, loisirs,...

  • Data Engineer Senior H/F

    il y a 1 mois


    Paris, Île-de-France Credit Agricole Assurances Temps plein

    Crédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...

  • Data engineer

    il y a 1 mois


    Paris, Île-de-France CGI Temps plein

    Quelles sont les missions ?Big Data, Data Science, Data analyse, Data architecture, ... Ça n'a pas de secret pour vous ?Que vous commenciez votre carrière professionnelle ou que vous soyez spécialiste de l'une de ces disciplines, intégrer notre communauté Data, c'est l'assurance de progresser, innover, partager, vous certifier et rendre service à nos...

  • Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France Airswift Temps plein

    Data EngineerLocation: Paris (Hybrid)Contract type: 12 months +Years of Experience: 4+Recruitment Partner: AirswiftKey Words: Project Management | Jira | Digiboard | Banking | Stakeholder Management | Architecture | Cloud | Payments/Credit |ServiceNow | PPM |ResponsibilitiesDesign, develop, and implement data pipelines to collect, process, and store...

  • Lead Data Engineer

    il y a 2 semaines


    Paris, Ile-de-France SELLIA Temps plein

    Nous recherchons un Lead Data Engineer spécialisé python/airflow pour rejoindre nos rangs et contribuer à notre succès continu.En tant que Lead Data Engineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l’encadrement d’une équipe de 3 data engineers. Vous travaillerez en étroite collaboration avec nos...