Thèse Framework D'évaluation Générique Et

**votre rôle**:
**Contexte global et problématique du sujet**
Orange traite de grandes quantités de conversations humain-machine (via diverses solutions de bots) et humain-humain pour la relation client. Souvent ces conversations ne sont pas rigoureusement évaluées. Dans le cas de bots, l’émergence récente des grands modèles de langage ou LLMs (pour Large Language Models) rend possible assez facilement le développement d’agents capables de résoudre des taches complexes (e.g. ReAct, Chain of Thoughts). Il est ainsi probable que l’usage de bots va se multiplier à l’avenir dans des services en production. Alors que l’évaluation de la qualité de ces bots était une tâche relativement manuelle spécifique aux périmètres et domaines de spécialité des conversations traitées, cette multiplication appelle à adopter une approche automatique pour avoir la capacité de piloter les déploiement et évolutions de tous ces bots. De manière générale, l’évaluation des conversations concernent aussi celles entre humains.
Nous cherchons de nous inspirer de la théorie de jeux, l’interprétabilité et des voitures autonomes pour trouver la stratégie qui a été suivi par les systèmes de dialogues. Nous cherchons de travailler sur des données publics (WebShop, ALFWorld,...) et privés Orange (Assistance Technique, Bot commerciaux,...).

**Objectif scientifique**

L'objectif principal est d’inférer les paramètres latents à une conversation et de s’en servir pour évaluer de manière spécifique la conversation sous deux perspectives : la perspective de l'utilisateur (le system attend les expectatifs de l’utilisateur ?) et la perspective du concepteur (le système fait ce que le concepteur veut ?).

**votre profil**:
Compétences (scientifiques et techniques) et qualités personnelles exigées par le **poste**
- Vous avez des compétences dans les domaines de l’Intelligence Artificielle, de l’apprentissage automatique et particulièrement dans l'apprentissage profond.
- Vous disposez d'un bon niveau en mathématiques (optimisation numérique, statistiques, probabilités, etc.).
- Vous maîtrisez le développement logiciel
- Vous maîtrisez l’anglais lu, écrit, parlé
- Vous êtes curieux, attiré par les nouvelles technologies, et prêt à suivre le rythme de leurs évolutions
- Vous aimez le travail en équipe, au sein de projets pluridisciplinaires, et contribuer à un objectif commun, tout en étant autonome sur les activités qui sont les vôtres
- Vous avez de bonnes capacités d'analyse et de synthèse
- Maîtriser un des outils d'apprentissage profond suivants : Torch, pyTorch, TensorFlow, MXNet serait un plus
- Vous aimez communiquer le résultat de vos travaux à travers de rapports écrits et des présentations orales

**Formation demandée (master, diplôme d’ingénieur, doctorat, domaine scientifique et technique)
Cursus d’ingénieur et/ou Master de Recherche, avec des connaissances dans l’apprentissage automatique et dans au moins l’un des domaines cités ci-dessus.

Expériences souhaitées (stages,)

Une première expérience de mise en œuvre d'algorithmes d'apprentissage neuronal (dans le cadre d’un stage par exemple) serait un plus.

**le plus de l'offre**:
Vous rejoindrez une équipe spécialisée en dialogue qui intègre des chercheurs, data scientistes, architectes, développeurs, thésards et stagiaires.

**entité**:
L’ambition de la Division Innovation est de porter plus loin l’innovation d’Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l’humain, éclairer les choix stratégiques du Groupe à long terme et influencer l’écosystème digital mondial.
Nous formons les expertes et les experts des technologies d’aujourd’hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l’innovation dont 740 chercheurs. Porteurs d’une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité ), les femmes et les hommes de Innovation sont à l’écoute et au service des pays, des régions et des business units pour faire d’Orange un opérateur multiservices de confiance.

La direction Data & AI a pour principale mission de faire d'Orange une entreprise « data driven », qui définit les standards du Groupe en matière de data et d’intelligence artificielle, et qui facilite le développement des cas d'usage, des produits et services de données. Cette direction est appelée à accompagner l'ensemble du groupe Orange.

**contrat**:
Thèse