Expert Kafka
Enregistrez cette offre et organisez votre recherche
Créez un compte gratuit pour enregistrer des offres d'emploi, créer des alertes et revenir à cette liste depuis votre tableau de bord.
En continuant, vous acceptez nos Conditions d’utilisation & Politique de confidentialité.
Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d’entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l’intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l’équipe projet pour concevoir, construire et industrialiser ce socle.
La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s’il est très autonome et peut se déplacer régulièrement sur site.
Missions
Concevoir l’architecture Kafka / Confluent et la faire évoluer d’un socle pilote vers une plateforme cible capacitive et multi-cas d’usage
Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi)
Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l’initialisation des données et l’évolution des schémas
Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka
Sécuriser les échanges et intégrer la gestion des habilitations à l’écosystème SI existant
Tuner et optimiser les performances de la plateforme
Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD
Mettre en place l’exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d’arrêt et de relance, traitement des incidents, demandes et changements
Rédiger les dossiers d’architecture, d’administration et d’exploitation, ainsi que les normes et bonnes pratiques
Former les équipes et assurer le transfert de compétences