Stage - Système D’évaluation Dynamique Pour Agent Llm

À propos

Toloxa est une start-up toulousaine qui bâtit un assistant de diagnostic et réparation pour systèmes électroniques/mécaniques, fondé sur une **architecture multi-agent** pilotée par des **LLM** (recherche d’information, diagnostic, analyse de causes, guidage pas-à-pas). Notre pipeline **speech-to-speech** (STT → agents → TTS) rend l’interaction fluide et naturelle.
Le stage est **co-encadré** par **ANITI** et l’**IRT Saint-Exupéry**, au sein du programme **FOR** (IA de confiance), avec accès à un écosystème académique et industriel de premier plan.

Mission

Concevoir un **système d’évaluation dynamique** qui choisit automatiquement le **meilleur modèle de langage** et les **bons réglages** pour chaque rôle de notre plateforme multi-agent (router, extractor, planner, critic, etc.). Objectif : optimiser **qualité**, **robustesse**, **latence** et **coût**.

Ce que vous ferez
- Construire des **datasets de validation** par agent (cas réels + données synthétiques).
- Définir des **métriques objectives** : qualité, robustesse, stabilité inter-runs, latence, coûts.
- Développer un **banc d’évaluation multi-modèles** (batchs complets, intégration **OpenRouter**/APIs LLM).
- Implémenter des **stratégies de sélection** : règles, scoring multi-critères, routage budget/latence, bandits/contextuels.
- Expérimenter **prompting** par rôle et **hyperparamètres** (température, top-p, longueur max ).
- Créer des **dashboards** et **rapports** pour suivre la performance et guider les choix de modèles.
- (Selon résultats) **Valorisation scientifique** : revue de littérature, rédaction/soumission de papier (workshop/conférence/journal) avec ANITI & IRT.

Profil recherché

Dernière année d’école d’ingénieur ou **Master 2** (IA/NLP/ML/Software), autonome, rigoureux-se, curieux-se, à l’aise pour structurer des expériences et analyser des résultats.

Compétences appréciées
- **Python** & bibliothèques IA/LLM (numpy, pydantic, Hugging Face ).
- **LLM & évaluation** : prompting, réglages de génération, jeux de validation, métriques.
- **APIs LLM / OpenRouter** : intégration multi-fournisseurs, parallélisation, robustesse/quotas.
- **Systèmes multi-agent** : compréhension des rôles et de leurs interactions.
- **RAG (bonus)** : embeddings, retrieval-augmented generation.
- **Veille/bibliographie scientifique** et synthèse.
- **LaTeX** pour rapports techniques.
- **Collaboration** : Git/GitHub (branches, PR, commits clairs).
- **Soft skills** : esprit d’analyse, communication, autonomie, sens produit.

Pourquoi nous rejoindre ?
- Impact direct sur un **produit** en construction (pas un POC oublié).
- **Co-encadrement** ANITI & IRT Saint-Exupéry, immersion dans l’écosystème toulousain (programme FOR).
- Cadre **startup** : ownership fort, itération rapide, idées mises en production.
- Télétravail partiel, horaires flexibles, **montée en compétences** accélérée.
- Possibilité de **publications** et de **mise en open-source** partielle (si pertinent).

Modalités
- **Lieu** : ANITI - B612, Toulouse (télétravail partiel possible).
- **Temps de travail** : 35h/semaine.
- **Encadrement** : Toloxa + ANITI + IRT Saint-Exupéry.

Candidature

**Objet**: _Candidature - Stage PFE Projet Pulse (Évaluation dynamique LLM)_
Décrivez en quelques lignes un projet technique dont vous êtes fier-e et votre motivation pour le sujet.

Type d'emploi : Stage
Durée du contrat : 6 mois

Rémunération : 561,00€ à 1 200,00€ par mois

Avantages:

- Flextime
- Travail à domicile occasionnel

Formation:

- Bac +4 (Maîtrise) (Requis)

Lieu du poste : Télétravail hybride (31400 Toulouse)