Ingénieur DevOps Big Data

Contexte

Dans le cadre de l'exploitation et de l'optimisation de l'infrastructure Cloudera Data Platform (CDP) de notre client, nous recherchons un prestataire expert capable d'assurer le support technique, l'analyse et la résolution des incidents critiques ainsi que l'optimisation continue de la plateforme.

Cette personne devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d'intervenir sur les problématiques de dimensionnement et de tuning de l'infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en sur la plateforme Dataiku seraient un plus.

Support Technique Niveau 2 et 3 sur Cloudera Data Platform

• Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera.

• Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers.

• Gérer les escalades des incidents critiques et collaborer avec l'éditeur si nécessaire.

• Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes.

• Optimiser la performance des services et traitements Hadoop, Spark et Kafka.

Gestion et Optimisation de Kafka

• Administrer et optimiser l'infrastructure Kafka sur Cloudera.

• Gérer la scalabilité et la résilience des clusters Kafka.

• Assurer une supervision efficace des topics, brokers et consommateurs.

• Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets.

• Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka.

Automatisation et Développement

• Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l'exploitation.

• Automatiser la gestion des incidents récurrents et les procédures de maintenance.

• Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées.

Optimisation et Dimensionnement de l'Infrastructure

• Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail.

• Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources.

• Analyser et proposer des évolutions d'architecture en collaboration avec les architectes en fonction des besoins métier.

• Assurer une veille technologique et être force de proposition pour améliorer la plateforme.

Documentation et Transmission de Connaissances

• Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d'utilisation de l'offre.

• Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l'analyse des incidents.

• Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

Profil recherché

• Expérience avérée en administration et support de Cloudera Data Platform.

• Maîtrise de Kafka (optimisation, gestion des performances et de la scalabilité).

• Capacité à analyser et résoudre des incidents critiques sur un environnement Big Data.

• Maîtrise des langages Shell, Ansible et Python pour l'automatisation et le déploiement.

• Expérience sur les bases de données Elasticsearch.

• Capacité à intervenir sur des problématiques de dimensionnement et d'optimisation des performances.

• Autonomie, rigueur et capacité à être force de proposition.

• Une connaissance de la plateforme Dataiku serait un plus.

• Capacité à collaborer avec des équipes multi-disciplinaires et à transmettre des connaissances.

• Bonnes connaissances de Linux (à l'aise avec un terminal).

Poste : DevOps Data

Lieu : Périphérie de Bordeaux

CDI : k

TJM : euros

Mission longue durée