Stage - Self-Distillation On-Policy pour des Modèles de Langage Spécialisés en Télécommunications H/F

Date de publication : Nov 05, 2026, 10:02AM Durée du contrat : 6 mois Et si votre stage de fin d'études contribuait à bâtir l'un des premiers modèles de langage dédiés aux télécoms en Europe ? Les grands modèles de langage savent beaucoup de choses, mais pas toujours le jargon des réseaux télécoms. Le sujet : comment spécialiser un modèle sur ce domaine, sans qu'il perde en fiabilité ? Peut-il toujours s'appuyer sur les documents fournis, dire « je ne sais pas » quand il le faut, et rester solide sur des documents jamais vus ? Pour y répondre, vous étudierez la self-distillation on-policy, une technique où le modèle apprend à partir de ses propres productions, avec un professeur figé ou co-évolutif. Vous explorerez une question ouverte, dont la réponse reste à trouver. Les axes de travail envisagés :
- Reproduire un résultat publié avec son code officiel, pour valider votre chaîne expérimentale
- Construire un jeu d'évaluation télécom traçable : partitions par document, décontamination vis-à-vis des benchmarks publics, cas où le contexte ne suffit pas à répondre
- Comparer la self-distillation à deux méthodes de référence, un fine-tuning supervisé et un apprentissage par renforcement de type GRPO, à modèle initial identique et à budget de calcul documenté
- Étudier deux formes d'information privilégiée : la réponse de référence et le passage documentaire
- Évaluer les approches : exactitude, ancrage documentaire, abstention appropriée, robustesse, coût de calcul, avec des intervalles de confiance Ces axes sont un point de départ : vos propres pistes sont les bienvenues, en lien étroit avec l'équipe d'encadrement. Livrables attendus :
- Un pipeline d'entraînement et d'évaluation reproductible et testé
- Un jeu d'évaluation télécom traçable
- Un rapport d'ablations (un résultat négatif bien contrôlé compte comme un résultat)
- Un mémoire de stage et, si les résultats le permettent, une soumission en atelier (workshop) Vous préparez un Bac +5 (école d'ingénieurs ou Master 2) en intelligence artificielle, machine learning, traitement du langage (NLP) ou mathématiques appliquées, et vous cherchez un stage de recherche de fin d'études de 5 à 6 mois. Pour démarrer dans de bonnes condition :
- Des bases solides en mathématiques, statistiques et machine learning
- Vous êtes à l'aise en Python et PyTorch, avec de solides bases en machine learning et en statistiques
- Vous lisez l'anglais technique sans difficulté (articles scientifiques, échanges d'équipe) Un vrai plus si vous avez déjà expérimenté :
- Les LLM : Hugging Face (Transformers, Datasets, TRL), fine-tuning, génération avec vLLM
- L'entraînement sur cluster GPU : SLURM, PyTorch FSDP avec Accelerate, Linux
- La recherche reproductible : git, pytest, suivi rigoureux des expériences
- La distillation, GRPO ou des outils d'évaluation comme Inspect AI
- Les réseaux télécoms Votre façon de travailler :
- Curieux·se et autonome : vous aimez chercher ce que vous ne savez pas encore, et dire « je ne sais pas » pour avancer plus vite
- Méthodique face aux problèmes complexes
- À l'aise pour présenter vos travaux, à l'écrit comme à l'oral
- Ouvert·e à l'équipe : vous partagez vos avancées et aimez échanger Nous lisons vos projets avec attention, qu'ils soient académiques ou personnels. ;) Les ++++
- Un sujet de recherche rare en Europe, à forte valeur ajoutée pour le secteur des télécoms
- Une équipe d'une vingtaine de personnes à Châtillon (chercheurs, data scientists, data engineers), sur des sujets de pointe
- Des présentations régulières de vos travaux, suivies de vraies discussions
- Des échanges en anglais au quotidien, pour progresser en situation réelle
- Des occasions de participer à des réunions et workshops avec d'autres acteurs du secteur ( à l'international)
- Une équipesoudée et sympathique. L'indemnité mensuelle brute de stage proposée est comprise entre 1300 et 1600 euros selon votre niveau d'études en cours. À cela s'ajoutent l'accès aux activités sociales et culturelles proposées par votre comité social et économique, l'accès au restaurant d'entreprise ou aux titres-restaurant, ainsi que la prise en charge à hauteur de 50 % de votre abonnement au transport en commun. Orange Innovation constitue la vitrine technologique du groupe, et se donne à ce titre les moyens d'explorer les sujets les plus avancés touchant aux métiers de l'opérateur. Au sein de cette entité, la division Data & AI est reconnue pour son expertise. Vous serez intégré dans des programmes de développement de pointe et serez au contact d'experts reconnus dans leur domaine. Date de début souhaitée : Mar 01, 2027, 12:00AM Chez Orange, seules vos compétences comp