Lead / Senior Data Engineer — Streaming & Temps Réel (IT) / Freelance

Le contexte

Un acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil.

Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit.

Vos missions

• Concevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation.

• Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée.

• Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial.

• Gérer également une partie batch pour enrichir l'historique et les profils clients.

• Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique.

Compétences techniques requises

Streaming & temps réel (critique)

• Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka.

• Expérience solide d'une architecture event-driven.

Cloud & traitement

• Expertise Google Cloud Platform (BigQuery notamment).

• Python comme langage principal.

• Aisance sur les pipelines batch pour l'enrichissement de données historiques.

Pratiques d'ingénierie

• Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.