Data Engineer

il y a 1 mois

ÎledeFrance, France CHARLI GROUP Travail à distance Freelance Temps plein

La mission : En tant que consultant Ingénieur Data au sein de la Cellule Qualité du Fixe (CQF) , vous serez en charge de :

·        L'exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge :

·        Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI

·        Des investigations lors d'incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités de Bytel contribuant à son bon fonctionnement.

·        Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l'équipe Datascience ou en fonction des évolutions du système.

·        Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité.

·        Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l'architecture réseau.

 

·        La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de :

o   Assurer la supervision et débogage du système via Openshift

o   S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow)

o   Contrôler les volumes et consommations Hardware de la plateforme

o   Débugger les pods en cas d’erreur

 

·        Assurer l’écriture des graphes Helm pour les déploiements applicatifs

o   Ecriture de charts Helm pour le déploiement de nouveaux applicatifs

o   Tester les nouveaux graphes sur la plateforme de test

o   Déployer et patcher les applicatifs déjà existants avec Helm

o   Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab

 

·        Assurer la gestion des utilisateurs et des règles de gestion du Datalake

o   Gestion des buckets et utilisateurs

o   Création de points de stockage et des règles de gestion associées

o   Création de scripts pour le stockage de Parquets

 

·        Assurer le fonctionnement du déploiement continu avec GitLab

o   Administration des images de production Gitlab et DockerHub

 

Objectifs et livrables

TDB des indicateurs

 

  • Senior Data Engineer

    il y a 2 semaines

    Île-de-France Opus Recruitment Solutions Temps plein

    Rôle : Data Engineer Senior Industrie : Distribution Localisation : Île de France / Remote possible à 90%Salaire : 60k€ - 70k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et en...

  • Senior Data Engineer

    il y a 2 semaines

    Île-de-France, France Opus Recruitment Solutions Temps plein

    Rôle : Data Engineer Senior Industrie : Distribution Localisation : Île de France / Remote possible à 90%Salaire : 60k€ - 70k€ À propos : Avec maintenant plus de 10 ans d'existence et une levée de fonds significative il y a deux ans, l'entreprise vise désormais une expansion européenne. Sous la direction du Head of Data, et en...

  • Data Analytics

    il y a 4 semaines

    Île-de-France Frank Recruitment Group Services Ltd Temps plein

    Data Engineer/Data analytique- Concevoir, implémenter et entretenir des pipelines de données efficaces et fiables en utilisant une gamme variée de technologies et de frameworks modernes (AWS, Azure, GCP | Airflow | Redshift, Big Query, Snowflake, etc.).- Développer des modèles de données avancés afin de soutenir des analyses complexes.- Garantir la...

  • Data Engineer

    il y a 2 semaines

    Île-de-France eXalt Value Temps plein

    eXalt est un cabinet de conseil IT Pure player Data & IA basé à Paris.Notre offre s’articule autour de 4 piliers réunis au sein d’une même communauté pour un accompagnement à 360° alliant une expertise technique et méthodologique à une approche conseil métier:Data Gouvernance & Project Data Engineering & Big Data Data Performance & Analytics...

  • Data Engineer

    il y a 2 semaines

    Île-de-France, France eXalt Value Temps plein

    eXalt est un cabinet de conseil IT Pure player Data & IA basé à Paris.Notre offre s’articule autour de 4 piliers réunis au sein d’une même communauté pour un accompagnement à 360° alliant une expertise technique et méthodologique à une approche conseil métier:Data Gouvernance & Project Data Engineering & Big Data Data Performance & Analytics...

  • DATA Engineer Azure F/H

    il y a 2 semaines

    Île-de-France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • DATA Engineer GCP F/H

    il y a 2 semaines

    Île-de-France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du Luxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • DATA Engineer GCP F/H

    il y a 2 semaines

    Île-de-France, France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du Luxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • DATA Engineer Azure F/H

    il y a 2 semaines

    Île-de-France, France SOFTEAM Temps plein

    Vous évoluez dans le domaine de la Data et souhaitez intégrer un leader de la transformation numérique spécialisé dans les secteurs de la Banque, du LGuxe, de l'Assurance, de la Finance, de l'Energie et la possibilité d'évoluer au sein du Groupe Docaposte !Softeam est labellisé "HappyIndex® AtWork " 2022 pour la 5ème année consécutive...

  • Data Engineer Python GCP

    il y a 4 semaines

    Île-de-France GRADIANT Temps plein

    Nous recherchons pour le compte de notre client un profil + de 5ans d'expérience pour le poste Data Engineer, idéalement un profil avec une expérience dans le retail, industrie, grande distribution.Missions : - concevoir, développer, faire évoluer des systèmes de traitement et d’exposition de données robustes et scalables pour industrialiser...

  • Data Engineer Senior H/F

    il y a 2 semaines

    Île-de-France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Data Engineer Senior H/F

    il y a 2 semaines

    Île-de-France, France HARDIS GROUP Temps plein

    GCP, Python, Data Pipeline, MicroServices, CI/CD, Machine learning, ces mots vous parlent, alors lisez la suite ! MISSIONAu sein de notre entité Business Applications parisienne et intégré(e) au sein d’une équipe projet, vous contribuez à l’élaboration et l’évolution des couches métiers des applications que nous réalisons pour nos clients.En...

  • Data Engineer

    il y a 4 semaines

    Île-de-France OMICRONE Travail à distance Freelance Temps plein

    Chers consultants,Nous sommes à la recherche d'un Ingénieur Data - Développeur JAVA / DevOps Senior pour rejoindre notre client, une banque leader à Paris.MissionsLa prestation aura lieu au sein de la banque exerce une responsabilité mondiale sur le Système d’Information contribuant à la réalisation des objectifs des métiers de la banque...

  • Data Engineer Python GCP

    il y a 4 semaines

    Île-de-France GRADIANT Temps plein

    Nous recherchons pour le compte de notre client un profil + de 5ans d'expérience pour le poste Data Engineer, idéalement un profil avec une expérience dans le retail, industrie, grande distribution. Missions : - concevoir, développer, faire évoluer des systèmes de traitement et d?exposition de données robustes et scalables pour industrialiser...

  • Data Scientist GCP

    il y a 4 semaines

    Île-de-France skiils Temps plein

    Un grand groupe est à la recherche d'un Data Scientist pour rejoindre un projet au sein du pôle Data Science. Pour ce projet, il recherche un.e data scientist senior qui rejoindra une équipe agile constituée d?un.e PO, de data scientists et 2 data engineers. Il pourra également participer aux échanges réguliers avec la communauté d?une...

  • Data Engineer

    il y a 4 semaines

    Île-de-France OMICRONE Temps plein

    Chers consultants, Nous sommes à la recherche d'un Ingénieur Data - Développeur JAVA / DevOps Senior pour rejoindre notre client, une banque leader à Paris. Missions La prestation aura lieu au sein de la banque exerce une responsabilité mondiale sur le Système d?Information contribuant à la réalisation des objectifs des métiers de la banque...

  • Senior Data Engineer

    il y a 2 semaines

    Île-de-France RSight® Temps plein

    Nous recherchons activement un(e) Data Engineer confirmé, pour le compte de l’un de nos clients, une ESN, leader de l’Ingénierie et du Conseil en Technologies. Vous interviendrez sur des projets à forte valeur ajoutée d’une Leader mondial du secteur de la réassurance.ResponsabilitésConstruire, livrer et maintenir les produits de données...

  • Senior Data Engineer

    il y a 2 semaines

    Île-de-France, France RSight® Temps plein

    Nous recherchons activement un(e) Data Engineer confirmé, pour le compte de l’un de nos clients, une ESN, leader de l’Ingénierie et du Conseil en Technologies. Vous interviendrez sur des projets à forte valeur ajoutée d’une Leader mondial du secteur de la réassurance.ResponsabilitésConstruire, livrer et maintenir les produits de données...

  • Data Scientist GCP

    il y a 1 mois

    Île-de-France skiils Temps plein

    Un grand groupe est à la recherche d'un Data Scientsit senior pour participer à un projet de computer vision. Pour ce projet, il recherche un.e data scientist senior qui rejoindra une équipe agile constituée d?un.e PO, de data scientists et 2 data engineers. Il pourra également participer aux échanges réguliers avec la communauté d?une...

  • Data engineer GCP Sénior

    il y a 2 semaines

    Île-de-France Apside Temps plein

    Découvrez la Vie Apsidienne et vous aussi, devenez ApsidienOn aurait pu demander à Chat GPT de vous démontrer en quoi Apside est l’ESN qu’il vous faut, mais on préfère que vous le découvriez vous-mêmes Découvrez votre future mission Contexte Rejoignez notre Practise Cloud/Data, afin d’intervenir sur des sujets à haute valeur ajoutée !...