Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H

Il y a 2 jours

Châtillon, Île-de-France Valleesud Temps plein

Date de publication : Nov 05, 2026, 10:02AM

Durée du contrat : 6 mois

Et si votre stage de fin d'études contribuait à bâtir l'un des premiers modèles de langage dédiés aux télécoms en Europe ? Les grands modèles de langage savent beaucoup de choses, mais pas toujours le jargon des réseaux télécoms.

Le sujet : comment spécialiser un modèle sur ce domaine, sans qu'il perde en fiabilité ? Peut-il toujours s'appuyer sur les documents fournis, dire " je ne sais pas " quand il le faut, et rester solide sur des documents jamais vus ?

Pour y répondre, vous étudierez la self-distillation on-policy, une technique où le modèle apprend à partir de ses propres productions, avec un professeur figé ou co-évolutif. Vous explorerez une question ouverte, dont la réponse reste à trouver.

Les axes de travail envisagés :

  • Reproduire un résultat publié avec son code officiel, pour valider votre chaîne expérimentale
  • Construire un jeu d'évaluation télécom traçable : partitions par document, décontamination vis-à-vis des benchmarks publics, cas où le contexte ne suffit pas à répondre
  • Comparer la self‑distillation à deux méthodes de référence, un fine‑tuning supervisé et un apprentissage par renforcement de type GRPO, à modèle initial identique et à budget de calcul documenté
  • Étudier deux formes d'information privilégiée : la réponse de référence et le passage documentaire
  • Évaluer les approches : exactitude, ancrage documentaire, abstention appropriée, robustesse, coût de calcul, avec des intervalles de confiance

Livrables attendus :

  • Un pipeline d'entraînement et d'évaluation reproductible et testé
  • Un jeu d'évaluation télécom traçable
  • Un rapport d'ablations (un résultat négatif bien contrôlé compte comme un résultat)
  • Un mémoire de stage et, si les résultats le permettent, une soumission en atelier (workshop)

Vous préparez un Bac+5 (école d'ingénieurs ou Master 2) en intelligence artificielle, machine learning, traitement du langage (NLP) ou mathématiques appliquées, et vous cherchez un stage de recherche de fin d'études de 5 à 6 mois.

Pour démarrer dans de bonnes conditions :

  • Des bases solides en mathématiques, statistiques et machine learning
  • Vous êtes à l'aise en Python et PyTorch, avec de solides bases en machine learning et en statistiques
  • Vous lisez l'anglais technique sans difficulté (articles scientifiques, échanges d'équipe)

Un vrai plus si vous avez déjà expérimenté :

  • Les LLM : Hugging Face (Transformers, Datasets, TRL), fine‑tuning, génération avec vLLM
  • Entraînement sur cluster GPU : SLURM, PyTorch FSDP avec Accelerate, Linux
  • La recherche reproductible : git, pytest, suivi rigoureux des expériences
  • La distillation, GRPO ou des outils d'évaluation comme Inspect AI
  • Les réseaux télécoms

Votre façon de travailler :

  • Curieux·se et autonome : vous aimez chercher ce que vous ne savez pas encore, et dire " je ne sais pas " pour avancer plus vite
  • Méthodique face aux problèmes complexes
  • À l'aise pour présenter vos travaux, à l'écrit comme à l'oral
  • Ouvert·e à l'équipe : vous partagez vos avancées et aimez échanger

Nous lisons vos projets avec attention, qu'ils soient académiques ou personnels. ;)

Les ++++

  • Un sujet de recherche rare en Europe, à forte valeur ajoutée pour le secteur des télécoms
  • Une équipe d'une vingtaine de personnes à Châtillon (chercheurs, data scientists, data engineers), sur des sujets de pointe
  • Des présentations régulières de vos travaux, suivies de vraies discussions
  • Des échanges en anglais au quotidien, pour progresser en situation réelle
  • Des occasions de participer à des réunions et workshops avec d'autres acteurs du secteur (à l'international)
  • Une équipe soudée et sympathique

L'indemnité mensuelle brute de stage proposée est comprise entre 1300 et 1600 euros selon votre niveau d'études en cours. À cela s'ajoutent l'accès aux activités sociales et culturelles proposées par votre comité social et économique, l'accès au restaurant d'entreprise ou aux titres-restaurant, ainsi que la prise en charge à hauteur de 50 % de votre abonnement au transport en commun.

Orange Innovation constitue la vitrine technologique du groupe, et se donne à ce titre les moyens d'explorer les sujets les plus avancés touchant aux métiers de l'opérateur.

Au sein de cette entité, la division Data & AI est reconnue pour son expertise.

Vous serez intégré dans des programmes de développement de pointe et serez au contact d'experts reconnus dans leur domaine.

Date de début souhaitée : Mar 01, 2027, 12:00AM

Chez Orange, seules vos compétences comptent. Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, o