Data Engineer
il y a 3 semaines
Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l'enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks .... Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d'origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d'éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d'éviter d'avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d'alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l'api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d'une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d'une librairie générique Spark pour les jobs d'ingestion via parquet/csv/json
-
Data Engineer
il y a 2 semaines
Paris, Île-de-France IEF2I Temps pleinNotre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA EngineerAttention: Partenariat exclusif avec notre écoleMissions : Effectuer l'intégration et la...
-
Data engineer
il y a 1 mois
Paris, Île-de-France BlueSoftGroup Temps pleinNous sommes à la recherche d'un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l'architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Adevinta Temps pleinWithin a team made up of Data Engineers, under the responsibility of an Engineering Manager and in direct collaboration with the CRM project managers, you will participate in the entire process of developing CRM features by intervening on the Data Engineer part.As a Data Engineer, you will contribute to:Develops and builds data products and data services and...
-
Data Engineer
il y a 1 mois
Paris, Île-de-France Digistrat consulting Temps pleinPoste : Data Engineer / cube OLAP / cach in memory / base de données distribuée Secteurs stratégiques : Banque d'investissement Démarrage : ASAP Contexte /Objectifs : Au sein d'une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Adevinta Temps pleinAu sein d'une équipe composée de Data Engineers, sous la responsabilité d'un Engineering Manager et en collaboration directe avec les chefs de projets CRM, vous participerez à l'intégralité du processus de développement des features CRM en intervenant sur la partie Data Engineer.En tant que Data Engineer, vous contribuerez en particulier à...
-
Data engineer
il y a 1 mois
Paris, Île-de-France HN SERVICES Temps pleinLe Machine Learning Engineer est un développeur au sein de l'équipe Engineering Open Big Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning.Cette Guilde est dédiée au service et de ses équipes (Data office, Tribus, Business,...
-
Data Engineer
il y a 1 mois
Paris, Île-de-France skiils Temps pleinAu sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ».Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective &...
-
data engineer aws
il y a 1 mois
Paris, Île-de-France SILAMIR Temps pleinOS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience.TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l'organisation, la valorisation, la synthèse et la modélisation des données Développement...
-
Data Engineer
il y a 2 semaines
Paris, Ile-de-France ALFI : Financial Markets Consultancy Services Temps pleinLe Data Engineer intervient au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning.Votre rôle et vos missions :Vous aurez pour missions principales de...
-
Data Engineer
il y a 4 semaines
Paris, Île-de-France Harry Hope Temps pleinNotre client, société en pleine croissance, spécialisé dans le domaine de la Big Data, recherche des Consultants Data Engineer Participez à cette aventure et rejoignez une formidable équipe. Vos missions principales seront diversifiées, comprenant notamment :- Participation aux processus d'avant-vente : Vous contribuerez à l'élaboration des...
-
data engineer azure
il y a 1 mois
Paris, Île-de-France UCASE CONSULTING Temps pleinBonjour à tous, Je recherche pour un de mes clients dans le domaine de l'immobilier un consultant Data Engineer Azure : Echanger et challenger les métiers dans leurs besoins Rédiger les spécifications techniques et fonctionnelles Concevoir les solutions d'intégration de la donnée Participer au développement de reporting aux équipes métiers Stack...
-
Data Engineer
il y a 3 semaines
Paris, Île-de-France Publicis Groupe Temps pleinDescription de l'entreprisePublicis Sapient agit d epuis plus de 30 ans au service de la transformation digitale des entreprises. Notre expertise unique regroupée sous l'acronyme SPEED, Stratégie et Conseil, Produit, Expérience, Engineering et Data combinée à notre connaissance approfondie du secteur, nous permet de créer, avec nos clients, des...
-
DATA Engineer
il y a 4 semaines
Paris, Île-de-France Renault Group Temps pleinVotre environnementLe métier Procurement de Renault est en pleine transformation et nécessite des outils performants pour gérer son réseau de fournisseurs, simuler des scénarios et anticiper les risques associés (logistiques, qualité, managériaux, sociaux-économiques, écologiques) .En s'appuyant sur les partenariats stratégiques de Renault avec...
-
Data Engineer
il y a 5 jours
Paris, Île-de-France NEXORIS Temps pleinNotre client, un groupe bancaire, recherche un consultant techino-fonctionnel, Data engineer risque de crédit (H/F).Renforcement de l'équipe pour le projet Surveillance Crédit, axé sur la production de POC, l'analyse métier, et le développement de solutions tactiques.Tâches et activités de la missionContribution à la production de POC (Proof of...
-
Data Engineer
il y a 2 semaines
Paris, Ile-de-France Beelix Temps pleinQui sommes-nous ?Depuis 2016, nous accompagnons nos clients sur des problématiques de Product Management, Data et Design Thinking. Beelix contribue à façonner le monde de demain en participant aux grandes avancées des secteurs suivants:Automobile⚡EnergieMédias & TélécomsLuxe & Retail Banque, Finance & Assurance✈️DéfenseAujourd’hui, Beelix...
-
Data Engineer Senior
il y a 2 semaines
Paris, Ile-de-France SoyHuCe|a JAKALA company Temps pleinSoyHuCe est le Center of Excellence en data/IA de JAKALA.Les équipes SoyHuCe combinent les expertises nécessaires à la création de solution data clé-en-main : collecte, traitement, analyse, algorithmie, exploitation, intégration et UX/UI.SoyHuCe répond ainsi à des cas d’usage variés, dans de multiples secteurs : retail, énergie, loisirs,...
-
Data Engineer Senior H/F
il y a 1 mois
Paris, Île-de-France Credit Agricole Assurances Temps pleinCrédit Agricole Assurances se prépare pour demain. Dans un contexte de transformation digitale marqué par les nouvelles technologies (Chatbot, Datascience) et les nouvelles méthodes de travail (comme l'agilité), nous souhaitons renforcer nos équipes au sein du pôle IT. Nous cherchons des profils curieux, ouverts à l'innovation, motivés par le...
-
Data engineer
il y a 1 mois
Paris, Île-de-France CGI Temps pleinQuelles sont les missions ?Big Data, Data Science, Data analyse, Data architecture, ... Ça n'a pas de secret pour vous ?Que vous commenciez votre carrière professionnelle ou que vous soyez spécialiste de l'une de ces disciplines, intégrer notre communauté Data, c'est l'assurance de progresser, innover, partager, vous certifier et rendre service à nos...
-
Data Engineer
il y a 2 semaines
Paris, Ile-de-France Airswift Temps pleinData EngineerLocation: Paris (Hybrid)Contract type: 12 months +Years of Experience: 4+Recruitment Partner: AirswiftKey Words: Project Management | Jira | Digiboard | Banking | Stakeholder Management | Architecture | Cloud | Payments/Credit |ServiceNow | PPM |ResponsibilitiesDesign, develop, and implement data pipelines to collect, process, and store...
-
Lead Data Engineer
il y a 2 semaines
Paris, Ile-de-France SELLIA Temps pleinNous recherchons un Lead Data Engineer spécialisé python/airflow pour rejoindre nos rangs et contribuer à notre succès continu.En tant que Lead Data Engineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l’encadrement d’une équipe de 3 data engineers. Vous travaillerez en étroite collaboration avec nos...