Data Engineer Expert Elastic Search
il y a 1 semaine
Confirmé (Au moins 5 ans d?expérience)
Secteur : Bancaire
La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l?essor de nos infrastructures et l?évolution des technologies associées, ou encore l?automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l?organisation du client et de ses Clients (équipes applicatives et socles multiples et dispersées).
Prenant en compte ce cadre, vos missions seront plus spécifiquement :
- Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data
- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d?automatiser les pipelines d?ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, ?)
- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données
Contexte technique
- Kafka
- Scripting Python/SQL/Java
- Suite Elastic (ElasticSearch/Kibana)
- Apache Flink / LogStash
- Agent de collecte (Elastic ou autre Open-Source)
Attendus. Pour réaliser la mission, vous serez à même de :
- Participer à la conception des solutions techniques et fonctionnelles
- Gérer les données de l?entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
- Rédiger les documents fonctionnels et techniques, d?exploitation, en veillant au respect des normes existantes
- Mettre en ?uvre en mode DevOps (CI/CD)
- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
- Être en relation avec les équipes opérationnelles de l?entreprise pour prise en compte des flux de données
- Développer les cas d?usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs
Compétences requises
- Connaissances en infrastructure : réseau / système
- Connaissance indispensable en SGBD et langage de requêtage
- Connaissance forte en streaming
- Architecture d?Entreprise, plus particulièrement en base de données, flux de données
- Conception et mise en place de solution de stockage et ingestion de données
- Méthodologie Agile / DevOps, maitrise des outils associés
- Gouvernance de la donnée
- Maitrise de divers langages de programmation (Java/Python)
- Anglais
-
Data Engineer Expert Elastic Stack
il y a 7 jours
Guyancourt, Île-de-France AVANISTA Temps pleinEnvie de relever des défis à la hauteur de votre talent ?ContexteDepuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants.Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement...
-
Data Engineer Expert Elastic Stack
il y a 7 jours
Guyancourt, Île-de-France Groupe Avanista Temps pleinDepuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants.Notre force ?Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos...
-
Data Product Owner H/F
il y a 2 semaines
Guyancourt, Île-de-France Bouygues Travaux Publics Temps pleinSpécialisé dans le génie civil et les ouvrages d'art, Bouygues Travaux Publics est l'un des leaders mondiaux dans les domaines de l'aménagement du territoire et de la construction d'infrastructures durables. Nous sommes engagés en faveur de la diversité et ouverts à tous les talents.Rattachement :En appui direct du Chief Data Officer, Direction...
-
Architecte Data Gouvernance Expérimenté H/F
il y a 3 jours
Guyancourt, Île-de-France Egis Group Temps pleinDescription de l'entrepriseEgis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement du territoire plus équilibré, durable et résilient....
-
Architecte Data MDM Expérimenté H/F
il y a 3 jours
Guyancourt, Île-de-France Egis Group Temps pleinDescription de l'entreprise Egis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement du territoire plus équilibré, durable et...
-
Architecte Data MDM Expérimenté H/F
il y a 3 jours
Guyancourt, Île-de-France Omada Rail Systems Temps pleinDigital, Information & TechnologyPermanent ContractMid-Senior LevelGuyancourtAbout UsEgis est un acteur international du conseil, de l'ingénierie de la construction et des services à la mobilité. Nous concevons et exploitons des infrastructures et bâtiments intelligents qui répondent aux défis liés à l'urgence climatique et permettent un aménagement...
-
Data Product Owner H/F
il y a 2 semaines
Guyancourt, Île-de-France Groupe Bouygues Temps pleinInformations générales Entité de rattachement Avec collaborateurs intervenant dans 60 pays, Bouygues Construction conçoit, réalise, et réhabilite les infrastructures et les bâtiments essentiels pour une société durable. Partout dans le monde, les équipes accompagnent le développement des infrastructures de productions d'énergies et de...
-
Data Product Owner H/F
il y a 5 jours
Guyancourt, Île-de-France Groupe Bouygues Temps pleinInformations générales Entité de rattachement Avec collaborateurs intervenant dans 60 pays, Bouygues Construction conçoit, réalise, et réhabilite les infrastructures et les bâtiments essentiels pour une société durable. Partout dans le monde, les équipes accompagnent le développement des infrastructures de productions d'énergies et de...
-
Automation Engineer
il y a 7 jours
Guyancourt, Île-de-France Merck Group Temps pleinWork Your Magic with usReady to explore, break barriers, and discover more? We know you've got big plans – so do we Our colleagues across the globe love innovating with science and technology to enrich people's lives with our solutions in Healthcare, Life Science, and Electronics. Together, we dream big and are passionate about caring for our rich mix of...
-
Chef de projet Techniques Iaas DATA
il y a 1 semaine
Guyancourt, Île-de-France AVANISTA Temps pleinEnvie de relever des défis à la hauteur de votre talent ?ContexteDepuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants.Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement...
