Data Engineer Expert Elastic Search

il y a 1 jour

Guyancourt, Île-de-France Free-Work Temps plein

Confirmé (Au moins 5 ans d'expérience)

Secteur : Bancaire

La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l'organisation du client et de ses Clients (équipes applicatives et socles multiples et dispersées).

Prenant en compte ce cadre, vos missions seront plus spécifiquement :

  • Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
  • Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data
  • Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)
  • Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données

Contexte technique

  • Kafka
  • Scripting Python/SQL/Java
  • Suite Elastic (ElasticSearch/Kibana)
  • Apache Flink / LogStash
  • Agent de collecte (Elastic ou autre Open-Source)

Attendus. Pour réaliser la mission, vous serez à même de :

  • Participer à la conception des solutions techniques et fonctionnelles
  • Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
  • Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes
  • Mettre en œuvre en mode DevOps (CI/CD)
  • Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
  • Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des flux de données
  • Développer les cas d'usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

Compétences requises

  • Connaissances en infrastructure : réseau / système
  • Connaissance indispensable en SGBD et langage de requêtage
  • Connaissance forte en streaming
  • Architecture d'Entreprise, plus particulièrement en base de données, flux de données
  • Conception et mise en place de solution de stockage et ingestion de données
  • Méthodologie Agile / DevOps, maitrise des outils associés
  • Gouvernance de la donnée
  • Maitrise de divers langages de programmation (Java/Python)
  • Anglais

  • Data Engineer Expert Elastic Stack

    il y a 1 semaine

    Guyancourt, Île-de-France Free-Work Temps plein

    Depuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants.Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos...

  • Data Product Owner H/F

    il y a 3 jours

    Guyancourt, Île-de-France Bouygues Travaux Publics Temps plein

    Spécialisé dans le génie civil et les ouvrages d'art, Bouygues Travaux Publics est l'un des leaders mondiaux dans les domaines de l'aménagement du territoire et de la construction d'infrastructures durables. Nous sommes engagés en faveur de la diversité et ouverts à tous les talents.Rattachement :En appui direct du Chief Data Officer, Direction...

  • Architecte Data Gouvernance Expérimenté H/F

    il y a 2 semaines

    Guyancourt, Île-de-France Egis Group Temps plein

    Description de l'entrepriseEgis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement du territoire plus équilibré, durable et résilient....

  • Architecte Data MDM Expérimenté H/F

    il y a 2 semaines

    Guyancourt, Île-de-France Egis Group Temps plein

    Description de l'entreprise Egis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement du territoire plus équilibré, durable et...

  • Architecte Data MDM Expérimenté H/F

    il y a 2 semaines

    Guyancourt, Île-de-France Omada Rail Systems Temps plein

    Digital, Information & TechnologyPermanent ContractMid-Senior LevelGuyancourtAbout UsEgis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement...

  • Expert Sauvegarde

    il y a 1 semaine

    Guyancourt, Île-de-France ITS Services Temps plein

    About Us :À propos d'ITS ServicesITS Services, entité d'ITS Group, est spécialisée dans le domaine des Infrastructures & Opérations IT avec + de 1 000 experts en ingénierie & MCO des services On Premise, Cloud, DevOps et Cybersécurité en France et en BelgiqueNos expertises : Infrastructure IT, Opérations IT, Cybersécurité Opérationnelle,...

  • Stagiaire Content and Digital marketing f/h

    il y a 5 jours

    Guyancourt, Île-de-France The businesses of Merck KGaA, Darmstadt, Germany Temps plein

    Your role:We are seeking a Global Scientific Marketing Communications Intern for the Lab Water Solutions department. You will support the execution of global marketing campaigns to enhance our scientific reputation and raise awareness of our work. You will also contribute to the creation of new scientific content for the web, coordinate the creation of...

  • Expert poste de travail/ active directory

    il y a 1 semaine

    Guyancourt, Île-de-France INFIDIS Temps plein

    EntrepriseLa BU ASSISTANCE TECHNIQUE de SPIE ICS est une ESN spécialisée dans les technologies d'infrastructure DATACENTER, Cybersécurité, End User Computing, Smart Data.La BU Assistance Technique accompagne et conseille ses clients sur la délégation de consultants à travers nos offres de :- Assistance Technique (Temps plein / Temps partagé)- Projet...

  • Responsable Juridique F/H

    il y a 2 semaines

    Guyancourt, Île-de-France W Executive France Temps plein

    W Executive, cabinet international de conseil RH & d'executive search, recrute pour l'un de ses clients, acteur de premier rang dans les services IT (cybersécurité, réseaux, data protection, cloud…),un Responsable Juridique F/H - Membre du CODIR.Il s'agit d'un poste en CDI, situé à Guyancourt (78) (véhicule de fonction).Missions principales :Conseil...

  • Expert(e) Process

    il y a 3 jours

    Guyancourt, Île-de-France Crédit Agricole Temps plein

    Informations générales Entité CA-GIP EN QUELQUES MOTS… Travailler chez CA-GIP, c'est être acteur de la transformation du groupe Crédit Agricole et de ses métiers. C'est travailler dans une entreprise technologique de 1er plan en Europe, au service des Entités du groupe Crédit Agricole. CA-GIP est un collectif de 2 000 collaborateurs répartis...