Tech lead Kafka

Budget: 650

Consultant / Tech Lead Kafka – Mise en place et pilotage de la plateforme - recrutement et management

Localisation : Malakoff

Démarrage : 05 janvier

Durée : Mission longue

Télétravail : Oui – 2 jours par semaine après 1 mois

Contexte de la mission

Un grand groupe industriel souhaite structurer et industrialiser la gestion de ses flux de données en temps réel en mettant en place un socle Kafka robuste, sécurisé et gouverné, au sein de son système d'information.

Les équipes actuelles ne disposent pas de compétences techniques avancées sur Kafka. Le client recherche donc un expert Kafka senior, capable de concevoir, déployer et opérer la plateforme, tout en assurant sa montée en maturité.

La mission se déroule dans un environnement cloud AWS et comporte une forte dimension de pilotage, incluant la coordination d'équipes internes et de ressources offshorisées du Groupe. Le consultant pourra également être amené à participer à l'identification, à la sélection et à la montée en compétence de consultants offshore, afin de structurer une capacité Kafka pérenne.

Obectifs de la prestation

• Concevoir et mettre en œuvre une plateforme Kafka industrialisée, conforme aux standards de sécurité, de performance et de gouvernance
• Assurer le RUN L2 / L3 et la maintenance évolutive du service Kafka
• Définir les bonnes pratiques, les processus et la documentation associés
• Piloter et coordonner les équipes internes et offshores intervenant sur Kafka
• Accompagner la montée en compétence des équipes et structurer une organisation durable

Missions principales

• Cadrage, audit et conception
• Analyse des besoins métiers et techniques liés aux flux temps réel
• Audit de l'existant et identification des impacts SI
• Définition de l'architecture Kafka cible (clusters, topics, partitions, réplications)
• Définition des standards de gouvernance, de sécurité et d'exploitation
• Déploiement et mise en œuvre
• Installation et configuration des clusters Kafka et des composants associés
• Mise en place de la haute disponibilité et des mécanismes de reprise (disaster recovery)
• Déploiement dans l'environnement AWS
• Automatisation des déploiements et des configurations (CI/CD)
• Gouvernance, pilotage et structuration d'équipe
• Définition des règles de gestion des topics, schémas et droits d'accès
• Pilotage opérationnel des activités Kafka (planning, charges, priorités)
• Coordination des équipes internes et des consultants offshorisés
• Participation au recrutement, à l'onboarding et à la montée en compétence de ressources offshore, en lien avec les équipes du Groupe
• Mise en place d'un reporting régulier des indicateurs de service
• RUN & Support
• Prise en charge des demandes via l'outil de ticketing (RUN L2 / L3)
• Analyse d'impact, chiffrage et planification des évolutions
• Gestion des incidents, optimisation des performances et tuning
• Transfert de compétences
• Formation et accompagnement des équipes internes et offshores
• Structuration et outillage de la base de connaissance
• Rédaction de la documentation technique et opérationnelle (SFD, STD, MEX, référentiels)

Activités techniques attendues

• Architecture Kafka : clusters distribués, topics, partitions, réplications
• Développement : producteurs / consommateurs, Kafka Streams, Kafka Connect
• Sécurité : SSL/TLS, SASL, ACLs, gestion des accès, durcissement des clusters
• Supervision : monitoring et alerting (Prometheus, Grafana)
• DevOps : Docker, Kubernetes, CI/CD
• Documentation : SFD, STD, MEX, référentiels techniques, Git
• Réversibilité : reprise et sécurisation d'une plateforme opérée par un tiers

Compétences attendues

• Expertise confirmée sur Kafka (Kafka Streams, Kafka Connect, clusters distribués)
• Très bonne maîtrise des environnements Cloud AWS
• Solide culture DevOps (Docker, Kubernetes, CI/CD)
• Expérience significative en mise en place de plateformes Kafka de bout en bout
• Capacité à piloter des équipes et à structurer une activité (internes et offshores)
• Appétence pour les sujets de recrutement, structuration et montée en compétence d'équipes techniques
• Forte capacité de documentation, de pédagogie et de transfert de compétences