Ingénieur Data Collect

Dans le cadre du développement et de l'exploitation d'une plateforme centralisée de données de sécurité, nous recherchons un Ingénieur Data Collect & Transformation disposant d'une forte expertise sur les technologies Elastic Stack, Logstash et Kafka. La plateforme a pour objectif de centraliser, normaliser et enrichir les données et événements issus de différentes sources du SI afin de permettre leur exploitation à des fins de corrélation d'événements, détection de patterns de sécurité, monitoring et alerting. Le consultant interviendra sur l'ensemble de la chaîne de collecte et de transformation de la donnée : architecture, intégration de nouvelles sources, pipelines de transformation, industrialisation des déploiements, monitoring et maintien en conditions opérationnelles. La mission s'inscrit dans un environnement Groupe international, avec des déploiements sur des infrastructures centrales ainsi qu'auprès de différentes filiales et entités à l'étranger. Missions principales Architecture et collecte des données
* Définir et mettre en place les mécanismes de collecte des logs et événements.
* Concevoir les patterns d'architecture associés aux différents modes de collecte.
* Définir, documenter et maintenir l'architecture de l'infrastructure de collecte.
* Documenter les flux, points réseau, règles de routage et interactions entre les différents composants.
* Participer à l'évolution de l'architecture en fonction des nouvelles sources et nouveaux besoins.
* Déployer les dispositifs de collecte sur les infrastructures Groupe et au sein des différentes entités et filiales. Elastic Stack / Logstash / Beats
* Concevoir, développer et maintenir les pipelines Logstash.
* Configurer et administrer les différents composants Elastic Stack.
* Mettre en œuvre et maintenir les agents de collecte Elastic Beats.
* Développer les mécanismes de parsing, filtrage, normalisation et enrichissement des données.
* Optimiser les performances et la fiabilité des pipelines de collecte.
* Assurer la qualité et l'exhaustivité des données ingérées dans Elasticsearch.
* Créer et faire évoluer les dashboards et outils de supervision sous Kibana. Kafka & Data Streaming
* Mettre en œuvre et maintenir les flux d'échange reposant sur Apache Kafka.
* Concevoir et maintenir les traitements de données utilisant Kafka Streams / KStream.
* Gérer l'intégration entre Kafka, Logstash et Elasticsearch.
* Participer à l'optimisation des mécanismes de streaming et de transformation de données. Industrialisation / DevOps
* Définir et mettre en œuvre une stratégie uniforme et standardisée de déploiement et de configuration via Ansible.
* Automatiser le déploiement des agents et composants de collecte.
* Maintenir les playbooks et rôles Ansible.
* Participer aux chaînes CI/CD via GitLab et Jenkins.
* Gérer le versioning des configurations et développements avec Git.
* Participer à la conteneurisation et au déploiement des composants via Docker. Nous recherchons un profil Ingénieur Data / Data Platform / Elastic Stack senior, disposant idéalement d'une expérience significative dans des environnements de collecte massive de logs, SIEM, observabilité ou cybersécurité. Le candidat doit être capable d'intervenir aussi bien sur la conception de l'architecture que sur son implémentation et son exploitation. Compétences indispensables Elastic Stack – Expert ★★★★★ Très bonne maîtrise d'Elasticsearch et de son fonctionnement dans des architectures distribuées. Logstash – Expert ★★★★★ – compétence critique Expertise dans le développement de pipelines Logstash complexes : inputs, filters, outputs, parsing, enrichissement, gestion des erreurs et optimisation des performances. La maîtrise du développement et de la personnalisation avancée de Logstash constitue un élément particulièrement important du poste. Kibana – Expert ★★★★★ Création de dashboards, visualisations, monitoring, troubleshooting et analyse des données. Kafka – Expert ★★★★★ Très bonne maîtrise des architectures Kafka, topics, producers/consumers et mécanismes d'échange de données. Elastic Beats – Expert ★★★★☆ / ★★★★★ Très bonne connaissance des agents Beats et des problématiques de collecte distribuée. Kafka Streams / KStream – Confirmé à Expert ★★★★☆ Expérience dans le développement ou l'exploitation de traitements de données temps réel basés sur Kafka Streams. Ruby – Confirmé ★★★★☆ Bonne maîtrise de Ruby, notamment pour les traitements avancés et développements associés à Logstash. « Puisque vous ne vous intéressez pas qu’au “quoi”, nous sommes ravis de vous parler du “comment”... Créée en 2005, Davidson consulting se positionne comme un acteur du conseil en management et d’expertise technologique, présent dans 6 pays. En 2018, Davidson devient la première société de conseil en