Thèse Framework d'évaluation générique et indépendant

il y a 4 semaines


Rennes, Bretagne, France Orange Sa Temps plein
Contexte global et problématique du sujet
Orange traite de grandes quantités de conversations humain-machine (via diverses solutions de bots) et humain-humain pour la relation client. Souvent ces conversations ne sont pas rigoureusement évaluées. Dans le cas de bots, l'émergence récente des grands modèles de langage ou LLMs (pour Large Language Models) rend possible assez facilement le développement d'agents capables de résoudre des taches complexes (e.g. ReAct, Chain of Thoughts) . Il est ainsi probable que l'usage de bots va se multiplier à l'avenir dans des services en production. Alors que l'évaluation de la qualité de ces bots était une tâche relativement manuelle spécifique aux périmètres et domaines de spécialité des conversations traitées, cette multiplication appelle à adopter une approche automatique pour avoir la capacité de piloter les déploiement et évolutions de tous ces bots. De manière générale, l'évaluation des conversations concernent aussi celles entre humains.
Plus globalement en traitement automatique des langues, les LLMs conduisent à un estompement des frontières entre les diverses tâches de traitement automatique des langues (par exemple le résumé, l'analyse de sentiments, les systèmes question-réponse, de recommandation, la génération de code, etc.) et les domaines d'application (par exemple : tourisme, restaurant, commerce, assistance technique, etc.) . Ainsi, la question de l'évaluation des sorties des LLMs est devenu un sujet transversal.
Divers travaux s'intéressent déjà à chercher une corrélation entre des métriques (indicateurs) objectives et subjectives pour évaluer les conversations et pour la génération de textes. D'autres cherchent à prédire la qualité d'une conversation. Des scores agnostiques au modèle pour comparer le comportement des deux systèmes de dialogue ont été également propose par la littérature. Le challenge DSTC (Dialogue System Technology Challenge) propose régulièrement, y compris cette année, l'évaluation des dialogues.
Nous cherchons de nous inspirer de la théorie de jeux, l'interprétabilité et des voitures autonomes pour trouver la stratégie qui a été suivi par les systèmes de dialogues. Nous cherchons de travailler sur des données publics (WebShop, ALFWorld, ...) et privés Orange (Assistance Technique, Bot commerciaux,

Profil recherché


Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste
  • Vous avez des compétences dans les domaines de l'Intelligence Artificielle, de l'apprentissage automatique et particulièrement dans l'apprentissage profond.
  • Vous disposez d'un bon niveau en mathématiques (optimisation numérique, statistiques, probabilités, etc.) .
  • Vous maîtrisez le développement logiciel
  • Vous maîtrisez l'anglais lu, écrit, parlé
  • Vous êtes curieux, attiré par les nouvelles technologies, et prêt à suivre le rythme de leurs évolutions
  • Vous aimez le travail en équipe, au sein de projets pluridisciplinaires, et contribuer à un objectif commun, tout en étant autonome sur les activités qui sont les vôtres
  • Vous avez de bonnes capacités d'analyse et de synthèse
  • Maîtriser un des outils d'apprentissage profond suivants : Torch, pyTorch, TensorFlow, MXNet serait un plus
  • Vous aimez communiquer le résultat de vos travaux à travers de rapports écrits et des présentations orales
Formation demandée?(master, diplôme d'ingénieur, doctorat, domaine scientifique et technique ...)

Cursus d'ingénieur et/ou Master de Recherche, avec des connaissances dans l'apprentissage automatique et dans au moins l'un des domaines cités ci-dessus.

Expériences souhaitées?(stages, ...)
Une première expérience de mise en oeuvre d'algorithmes d'apprentissage neuronal (dans le cadre d'un stage par exemple) serait un plus

Présentation de Orange Sa


L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité...) , les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.

La direction Data & AI a pour principale mission de faire d'Orange une entreprise « data driven », qui définit les standards du Groupe en matière de data et d'intelligence artificielle, et qui facilite le développement des cas d'usage, des produits et services de données. Cette direction est appelée à accompagner l'ensemble du groupe Orange

  • Rennes, Bretagne, France Orange Sa Temps plein

    Votre rôle est d'effectuer un travail de thèse pour simuler les scénarios de sobriété du secteur télécoms avec l'intelligence artificielle et un jumeau numérique.Le secteur des télécommunications à un impact significatif sur les limites planétaires, tant au niveau énergétique qu'environnemental. L'état de l'art actuel...


  • Rennes, Bretagne, France Orange Sa Temps plein

    Votre rôle est d'effectuer un travail de thèse sur la : " Séparation de sources par IA générative. Application à des contenus ambisoniques " Contexte global et problématique du sujetLes récents progrès de la reconnaissance automatique de la parole, portés par les avancées en deep learning, ont grandement participé à mettre en avant les services...


  • Rennes, Bretagne, France Orange Sa Temps plein

    Votre rôle est d'effectuer un travail de thèse sur le codage audio multicanal par réseaux de neurones.Contexte global et problématique du sujetAprès MPEG-H pour le streaming, le standard 3GPP IVAS (Immersive Voice and Audio Services) auquel Orange a contribué inaugure la capacité d'un codec conversationnel à adresser des services immersifs avec même...


  • Rennes, Bretagne, France Orange Sa Temps plein

    Votre rôle est d'effectuer un travail de thèse sur : " Reconfiguration et orchestration de jumeaux numériques des réseaux" Contexte global et problématique du sujetLe jumeau numérique fait partie des grandes tendances technologiques stratégiques [1]. Les jumeaux numériques maintiennent à jour une représentation numérique d'entités d'intérêt du...


  • Rennes, Bretagne, France SOCOTEC Temps plein

    ‣ Descriptif du poste :Job DescriptionLe Consultant / Project Manager Génie Electrique & Energies intervient auprès des clients industriels pour les accompagner dans leurs projets de conception ou de transformation de leurs installations autour de problématiques de risques industriels, fiabilisation, et de performance des installations & actifs...


  • Rennes, 35000, Bretagne, Bretagne, France CELAD Temps plein

    Envie d?un nouveau challenge CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Développeur(euse) Full Stack VueJS/ PHP Laravel pour intervenir chez un de nos clients. Vos principales missions : Au sein de l'équipe Commerce et Loisirs du client, vous travaillerez en collaboration avec les autres membres de...


  • Rennes, 35000, Bretagne, Bretagne, France CELAD Temps plein

    Envie d'un nouveau challenge CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Développeur(euse) Java/ Angular pour intervenir chez un de nos clients, dans le secteur bancaire. Vos principales missions :Dans le cadre de la création de la squad \"Marketing Digital\", vous serez en charge de la/du :-...

  • Chef de Chantier H/F

    il y a 1 semaine


    Rennes, Bretagne, France LE MERCATO DE L'EMPLOI Temps plein

    Quelles sont les missions ?Rattaché au directeur des travaux, vous serez responsable d'un ou plusieurs types de chantiers de génie civil et travaux spéciaux :-Ouvrages d'art (ponts routiers, ferroviaires)-Travaux maritimes (Cales, digues...)-Skateparks en béton armé-Ouvrages en béton projeté (Vous serez formé à la qualification Asquapro)A ce titre,...

  • technicien cvc h/f

    il y a 4 jours


    Rennes, 35000, Bretagne, France ARTUS Temps plein

    Optimisez votre temps! Faites confiance à Artus, agence d'emploi (Interim/CDD/CDI) présente sur le marché de l'emploi depuis plus de 27 ans. Ethique, écoute, respect et réactivité, l'humain est au cœur de notre métier. Chez Artus, au delà de votre CV, nous prenons le temps de vous connaître afin de vous proposer les missions qui vous...


  • Rennes, 35000, Bretagne, Bretagne, France CELAD Temps plein

    Envie d?un nouveau challenge CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Développeur(euse) Java/ Angular pour intervenir chez un de nos clients, dans le secteur bancaire. Vos principales missions : Dans le cadre de la création de la squad "Marketing Digital", vous serez en charge de la/du : - Développement...

  • AIDE SOIGNANT

    il y a 4 semaines


    Rennes, 35000, Bretagne, France Agence Appel Médical Rennes Temps plein

    Vous aimez tisser des liens? Vous aimez œuvrer pour le bien-être des gens ? Nous avons du travail pour vous ! Appel Médical, chaque jour, à vos côtés dans les métiers de la santé. Notre équipe excelle dans le domaine de la rééducation . De belles opportunités pour vous ! Notre client, un centre de rééducation à RENNES propose une prise en...

  • Ingénieur Process Junior

    il y a 2 semaines


    Rennes, Bretagne, France NEO2 Temps plein

    Quelles sont les missions ?Dans le cadre de nos activités en Life Sciences, nous sommes à la recherche d'un ingénieur en génie des procédés pour accompagner la mise en production industrielle de produits agroalimentaires et pharmaceutiques.Responsabilités :*Concevoir et mettre en oeuvre des processus de production efficaces, sûrs et conformes aux...

  • Architecte Technique IT F/H

    il y a 2 semaines


    Rennes, Bretagne, France Atos Temps plein

    Eviden regroupe les activités Digital, Cloud, Big Data et Sécurité d'Atos et sera un leader international d'une transformation numérique fiable, durable et basée sur les données. Acteur clé du numérique de prochaine génération et leader mondial du cloud, du calcul avancé et de la sécurité, Eviden fera bénéficier de son expertise l'ensemble des...


  • Rennes, 35000, Bretagne, France Ligue de l'enseignement d'Ille-et-Vilaine Temps plein

    En quelques Cette mission s'inscrit dans le cadre de la stratégie du programme d'inclusion numérique de l'association, qui vise à promouvoir l'autonomie numérique des personnes éloignées des dispositifs d'insertion. Vous aimez le contact humain, le terrain et les projets, cette mission est faite po

  • Développeur c# wpf

    il y a 2 semaines


    Rennes, Bretagne, France FORTIL Temps plein

    Quelles sont les missions ?Pour accompagner l'équipe, vous êtes capable de prendre le lead sur tout ou partie des responsabilités métiers suivantes :Analyser le besoin client et rédiger les spécificationsConcevoir les architectures et les IHMDévelopper et implémenter ces IHM dans un environnement temps-réel en veillant à ce quelles soient...

  • Directeur régional

    il y a 2 semaines


    Rennes, Bretagne, France BANQUE DELUBAC ET COMPAGNIE Temps plein

    Quelles sont les missions ?Au sein de la Banque Delubac & Cie, vous rejoignez la Banque des Entreprises (BDE).La Banque des Entreprises propose des solutions personnalisées et innovantes adaptées aux besoins et enjeux des entreprises. La banque possède une expertise sur les transactions internationales complexes notamment sur les transactions commerciales...

  • Technicien Usinage

    il y a 3 semaines


    Rennes, Bretagne, France FORTIL Temps plein

    Quelles sont les missions ?Pour accompagner l'équipe, vous êtes capable de réaliser tout ou partie des responsabilités métiers suivantes :Analyse de plans pièceDéfinition de gamme d'usinageCréation de programme d'usinage (assisté FAO)Définition de temps de cycleDéfinition des outillagesMise au point de l'usinageUsinage des pièces sur tour et...

  • Développeur C++ Unreal

    il y a 2 semaines


    Rennes, Bretagne, France FORTIL Temps plein

    Quelles sont les missions ?Pour accompagner l'équipe, vous êtes capable de prendre le lead sur tout ou partie des responsabilités métiers suivantes :Analyser le besoin client et rédiger les spécificationsConcevoir les architectures et les solutions logiciellesDévelopper et implémenter ces solutions dans un environnement temps-réel en veillant à ce...

  • Testeur qa

    il y a 3 semaines


    Rennes, Bretagne, France FORTIL Temps plein

    Quelles sont les missions ?Pour accompagner l'équipe, vous interviendrez dans un contexte de Continuous Delivery sur toutes les phases de l'expression du besoin à l'exploitation en production.A ce titre, vous serez en charge de :Echanger avec les développeurs et les accompagner dans leurs testsDéceler les anomalies des applications (du code notamment) en...

  • Chargé d'affaires Automatisme

    il y a 4 semaines


    Rennes, Bretagne, France FORTIL Temps plein

    Quelles sont les missions ?Pour accompagner l'équipe, vous êtes capable de réaliser tout ou partie des responsabilités métiers suivantes :Examiner les exigences fonctionnelles du client de manière approfondie.Collaborer avec divers bureaux d'études pour prendre des décisions techniques éclairées.Élaborer des propositions commerciales...