Stage PFE: Système dynamique d’évaluation de modèles LLM

Toloxa est une jeune start-up toulousaine qui développe un assistant intelligent capable de diagnostiquer et réparer des appareils électroniques et mécaniques grâce à une architecture multi-agent avancée basée sur des modèles de langage. Notre vision : rendre la résolution de pannes aussi simple qu’une conversation, qu’il s’agisse d’un ordinateur, d’une machine industrielle ou d’un équipement grand public. Nous nous inscrivons au cœur d’un écosystème scientifique d’excellence, en étant accompagnés par : ANITI (Artificial and Natural Intelligence Toulouse Institute), l’un des 3IA majeurs en France, spécialisé dans l’IA de confiance et appliquée aux secteurs industriels sensibles. L’IRT Saint-Exupéry, institut de recherche technologique de référence, avec qui nous co-construisons des briques technologiques robustes et transférables. Le programme FOR, un projet intégratif du cluster IA réunissant laboratoires académiques et grands industriels (Airbus, Thales, Safran, SNCF, etc.) pour accélérer le développement d’innovations IA concrètes et fiables. Le stage proposé s’inscrit directement dans ce cadre : tu travailleras dans un environnement où se croisent recherche de pointe, défis industriels réels et développement produit. Tu contribueras à un sujet stratégique : la création d’un système dynamique capable d’évaluer, comparer et sélectionner automatiquement les meilleurs modèles de langage (LLM) pour chaque rôle au sein de notre architecture multi-agent. Si tu veux combiner recherche appliquée, IA moderne, innovation concrète et impact produit tangible, tu vas adorer travailler avec nous. Vos missions Tu participeras à la conception d’un système intelligent capable de sélectionner automatiquement le meilleur modèle de langage pour chaque rôle dans notre plateforme multi-agent. Tes missions incluront notamment : Création de datasets de validation pour chaque agent (cas réels + données synthétiques). Définition de métriques d’évaluation : qualité, robustesse, latence, coût, stabilité inter-runs… Développement d’un banc d’évaluation multi-modèles via OpenRouter. Mise en place de stratégies de sélection (règles, scoring multi-critères, routage selon contraintes). Expérimentations sur le prompting, la spécialisation par rôle et les hyperparamètres. Conception de rapports et dashboards permettant de suivre les performances et décisions du système. Contribution potentielle à des publications scientifiques (workshops, conférences). Vos compétences Tu es potentiellement la bonne personne si tu maîtrises ou veux approfondir : Python et les bibliothèques IA/LLM (numpy, Hugging Face…). Fonctionnement des LLM, du prompting et de la génération. APIs multi-modèles (idéalement OpenRouter). Architectures multi-agent ou systèmes distribués. Bonus : RAG, lecture de publications, LaTeX, bonnes pratiques Git. Profil : dernière année d’école d’ingénieur ou Master 2, autonome, rigoureux, curieux, analytique. Avantages 5. Avantages Stage au cœur d’un écosystème exceptionnel : ANITI + IRT Saint-Exupéry + projet FOR. Impact direct : tes travaux seront intégrés dans le produit Toloxa. Possibilité de contribution à des articles scientifiques. Télétravail partiel possible. Liberté et responsabilité d’une start-up, soutenue par des institutions majeures. Encadrement par une équipe pluridisciplinaire mêlant recherche et ingénierie. Les 2 co-encadrants (un académique et l'autre industriel) sont tous les 2 docteurs en IA. Un environnement où tes idées comptent vraiment. Ce stage est une occasion unique de travailler au croisement de la recherche en IA de confiance, des architectures multi-agent et du développement produit. Si tu veux relever des défis concrets et contribuer à une technologie innovante en collaboration avec ANITI, l’IRT Saint-Exupéry et tout le consortium du projet FOR, alors rejoins-nous.