data engineer python spark anglais

il y a 3 semaines


IssylesMoulineaux, France Innov and Co Temps plein
Dans un secteur logistique en plein essor, en prise direct avec les problématiques actuelles (smart cities, environnement, géopolitique), et en pleine transformation technologique (véhicules autonomes, digitalisation, mobilité), DPD Group vous offre l?opportunité d?avoir un impact direct sur la gestion de colis du futur.

Vous intégrerez l?équipe Analytics et contribuerez principalement au développement de la plateforme DataHub. Actuellement petite équipe autonome de 4 personnes engagées à 100% sur ce projet, l?équipe Analytics est intégrée au sein de l?équipe Data Science & Analytics de la DPSIN.

L?objectif de la plateforme interne DataHub est de stocker les données historiques des activités et permettre leur requêtage efficient. Les données sont issues de et exploitées par divers acteurs ? Marketing, Sales, OPS, IT, Data Science, ? en central ou depuis les Business Units ? pour des usages tels que la récupération simple de données historiques, la BI ou le machine learning.

L?environnement de travail est international, avec des contacts quotidiens avec des équipes en France et à l?étranger. Les demandes d?utilisations de la plateforme croissent fortement.

La plateforme DataHub en quelques faits :

§ 2023 : Forte croissance des usages de la plateforme (BI, requêtage ad-hoc, requêtages fréquents standardisés et hautes performances d?applications), enrichissement de l?offre de services (Data Viz avec Superset)

§ 2024 : Monter en charge sur les usages (plus de use cases ), étendre l?offre de services et améliorer l?expérience utilisateurs (Data Viz, Data lineage), optimiser l?usage de notre stack technique (Spark, Airflow), généraliser l?usage de tables d?Apache Iceberg, poursuivre l?industrialisation des pipelines de traitement de données?

o Les cas d?usages aujourd?hui en production :

§ 9 rapports BI servis

§ Requêtages fréquents (standardisés et tunés, avec ou sans API) par des applications :: 4 cas d?usages

§ Requêtage ad-hoc croissant des data scientists et équipes IT (+1000 requêtes / mois)

o Volumes de données sous gestion active :

§ ~10 To de données

§ +15 flux de données

§ Flux de donné majeur : +100 millions d?évènements / jour d?évènements sur les colis

Environnement technique :

§ Data Lake basé sur des technologies open source.

§ Architecture Cloud Kubernetes (Outscale Cloud)

§ Stockage des données sur du S3 (Outscale OOS) sous forme de fichiers Parquet (simples ou tables Iceberg) ou json

§ Query engine pour se connecter (S3 et autres DB) et requêter (SQL standard) les données : Dremio

§ Maintenance de tables Iceberg et requêtage de données avec Apache Spark

§ Automatisation des opérations et traitements de données en python avec Apache Airflow

§ Data Viz orientée métier avec Apache Superset

§ Data Viz orientée Monitoring IT avec Grafana

§ APIs développées en Python et Java

§ Gestion de version et CI/CD avec GIT Lab

Organisation :

§ Equipe Produit de 4 personnes

§ Mode de travail Agile Scrum


  • Data Engineer

    il y a 4 semaines


    Issy-les-Moulineaux, France AGIL IT Temps plein

    En tant que consultant Data Engineer, vous interviendrez dans le cadre de projets Big Data en cours ou From Scratch. Vous contribuerez : Aux études, à la conception et à l'implémentation des projets A l'intégration de nouveaux flux en mode batch ou streaming A la configuration et optimisation des programmes applicatifs A la configuration des outils de...

  • Data Engineer

    il y a 5 jours


    Issy-les-Moulineaux, France CREATYM France Temps plein

    Descriptif du poste Notre service Informatique recherche son futur Data Engineer Java & Spark L2 ou L3 **Les missions sont les suivantes**: - En charge de prendre en charge les développements de traitements Java Spark - Conception technique en collaboration avec les Architectes pour la validation des solutions, avec les Business Analysts sur les...


  • Issy-les-Moulineaux, France Capgemini Temps plein

    Capgemini en quelques motsCapgemini est un leader mondial, responsable et multiculturel, regroupant 350 000 personnes dans près de 50 pays. Partenaire stratégique des entreprises pour la transformation de leurs activités en tirant profit de toute la puissance de la technologie, le Groupe est guidé au quotidien par sa raison d’être : libérer les...


  • Issy-les-Moulineaux, Boulogne-Billancourt, France Capgemini Temps plein

    Capgemini en quelques motsCapgemini est un leader mondial, responsable et multiculturel, regroupant 350 000 personnes dans près de 50 pays. Partenaire stratégique des entreprises pour la transformation de leurs activités en tirant profit de toute la puissance de la technologie, le Groupe est guidé au quotidien par sa raison d’être : libérer les...


  • Issy-les-Moulineaux, France Capgemini Temps plein

    Capgemini en quelques motsCapgemini est un leader mondial, responsable et multiculturel, regroupant 350 000 personnes dans près de 50 pays. Partenaire stratégique des entreprises pour la transformation de leurs activités en tirant profit de toute la puissance de la technologie, le Groupe est guidé au quotidien par sa raison d’être : libérer les...

  • Data Engineer

    il y a 1 mois


    Issy-les-Moulineaux, France agathe chedeville Temps plein

    Descriptif du poste **Rattaché.e au Directeur technique, vous responsabilités principales seront**: 1. Contribuer à l’identification et à l’exploration des données pour le bénéfice des besoins métiers couverts par la solution de l’entreprise ; 2. Mettre en place la collecte et la mise à disposition des données au sein de la solution ; 3....

  • Data Scientist

    il y a 5 jours


    Issy-les-Moulineaux, France RIT Temps plein

    Pour l'un de nos clients en banque nous recherchons, un data scientiste expérientément en Pyhthon Vous aurez pour missions de: - Concevoir des outils de reporting et d’aide à la prise de décision - Élaborer, tester, déployer et faire évoluer des solutions de visualisation de données et d'analyse graphique pour une couverture plus complète des...


  • Issy-les-Moulineaux, France Transdev Temps plein

    Transdev recrute un Data Engineer Junior (H/F) en alternance Rejoignez un Groupe international fortement ancré dans les territoires Votre destination La Direction "IT, Data, Digital, Cybersecurity" définit la Stratégie de Transformation du Groupe et suit sa mise en oeuvre au travers de 9 programmes stratégiques. Parmi ces programmes, au sein du...

  • Data Engineer

    il y a 1 mois


    Issy-les-Moulineaux, France Nestle Temps plein

    **Position snapshot** - Permanent position - Location: Issy-les-Moulineaux - Master’s degree - Around 7 years of experience in data engineering, preferably with 2-3 years as lead, possibly with some management experience. - Attractive package, caring management, flexible working hours or remote work, allow you to evolve in a pleasant environment. You...

  • Tech Lead Big Data

    il y a 4 semaines


    Issy-les-Moulineaux, France HARRY HOPE Temps plein

    Harry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités en France et à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographique.En tant que Tech Lead spécialisé en Big Data, vous jouerez un rôle clé en...

  • Tech Lead Big Data

    il y a 4 semaines


    Issy-les-Moulineaux, France HARRY HOPE Temps plein

    A propos de la sociétéHarry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités en France et à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographique.Description du posteEn tant que Tech Lead spécialisé...

  • Tech Lead Big Data

    il y a 3 semaines


    Issy-les-Moulineaux, France Harry Hope Temps plein

    En tant que Tech Lead spécialisé en Big Data, vous jouerez un rôle clé en tant que référent(e) technique auprès de nos clients et au sein de l'équipe. Vous serez impliqué(e) dans toutes les phases des projets Big Data, de l'avant-vente à la mise en oeuvre technique.Responsabilités Principales :- Participer activement aux processus...

  • Data Scientist H/F

    il y a 3 semaines


    Issy-les-Moulineaux, France SAUR Temps plein

    Pure Player de l'eau et des services essentiels, le Groupe Saur œuvre pour la protection de l'environnement au cœur des territoires qu'il dessert. Depuis toujours, Saur agit pour offrir la même qualité de service aux petites communes, aux grandes métropoles et aux industriels, guidé par sa raison d’être : redonner à l'eau la valeur qu'elle...

  • Data Engineer Groupe

    il y a 1 mois


    Issy-les-Moulineaux, France CERBA HEALTHCARE GESTION Temps plein

    Dans le cadre de sa mise en place d'une plateforme Data groupe, le groupe Cerba HealthCare recherche u**n.e Data Engineer Groupe expérimenté.e** qui aura la charge de la structuration et du croisement d’une multitude de sources de données afin que celles-ci soient opérationnelles pour exploitation (data analyst/data scientist). Afin de valoriser ces...

  • Data Scientist H/F

    il y a 3 semaines


    Issy-les-Moulineaux, Boulogne-Billancourt, France SAUR Temps plein

    Pure Player de l'eau et des services essentiels, le Groupe Saur œuvre pour la protection de l'environnement au cœur des territoires qu'il dessert. Depuis toujours, Saur agit pour offrir la même qualité de service aux petites communes, aux grandes métropoles et aux industriels, guidé par sa raison d’être : redonner à l'eau la valeur...

  • Data Scientist H/F

    il y a 2 semaines


    Issy-les-Moulineaux, France SAUR Temps plein

    Pure Player de l'eau et des services essentiels, le Groupe Saur œuvre pour la protection de l'environnement au cœur des territoires qu'il dessert. Depuis toujours, Saur agit pour offrir la même qualité de service aux petites communes, aux grandes métropoles et aux industriels, guidé par sa raison d’être : redonner à l'eau la valeur...


  • Issy-les-Moulineaux, Hauts-de-Seine, France SAUR Temps plein

    Pure Player de l'eau et des services essentiels, le Groupe Saur œuvre pour la protection de l'environnement au cœur des territoires qu'il dessert. Depuis toujours, Saur agit pour offrir la même qualité de service aux petites communes, aux grandes métropoles et aux industriels, guidé par sa raison d’être : redonner à l'eau la valeur qu'elle...


  • Issy-les-Moulineaux, France MINT Conseil Temps plein

    Dans le cadre du développement de nos activités nous recherchons pour nos clients grands coimotes du secteur télécom un Consultant data Scientist et Python. Le contexte du projet est de compléter l’une des squads du périmètre MEA pour - Répliquer le use case smart capex dans de nouvelles filiales, - Développer de nouveaux modules - Assurer le...

  • Data Engineer

    il y a 4 jours


    Issy-les-Moulineaux, France CNP Assurances Temps plein

    La Direction de l'Expérience Client des services numériques et de la donnée a pour ambition de proposer, concevoir et mettre en œuvre tous les dispositifs qui permettront à CNP Assurances d'améliorer son excellence opérationnelle et son intimité client, en réponse au niveau d'attente et d'exigence de ses clients, face à l'accélération de l'usage...


  • Issy-les-Moulineaux, France CS Group Solutions Temps plein

    Nous recherchons un Tech Lead GCP ou Data engineer GCP senior pour débuter mi-juinGoogle Cloud Platform Les livrables sontDossiers de conception DéveloppementCompétences techniquesGCP - Confirmé - ImpératifBigquery - Confirmé - ImpératifGoogle SQL - Confirmé - ImpératifConnaissances linguistiquesAnglais Professionnel (Impératif)Nécessite un...