Thèse de doctorat: Interprétabilité et Évaluation des LLMs et des Agentic Workflows
il y a 2 semaines
Informations générales
Intitulé de l'offre : Thèse de doctorat: Interprétabilité et Évaluation des LLMs et des Agentic Workflows (H/F)
Référence : UMR5217-MAXPEY-001
Nombre de Postes : 1
Lieu de travail : ST MARTIN D HERES
Date de publication : mercredi 12 juin 2024
Type de contrat : CDD Doctorant/Contrat doctoral
Durée du contrat : 36 mois
Date de début de la thèse : 1 novembre 2024
Quotité de travail : Temps complet
Rémunération : La rémunération est d'un minimum de 2135,00 € mensuel
Section(s) CN : Sciences de l'information : fondements de l'informatique, calculs, algorithmes, représentations, exploitations
Description du sujet de thèse
Le traitement automatique du langage naturel (TAL) a connu un changement de paradigme ces dernières années, grâce aux percées remarquables réalisées par les grands modèles de langage (LLMs). Ces modèles ont complètement transformé le paysage du TAL en démontrant des résultats impressionnants en modélisation du langage, en traduction et en résumé. Néanmoins, l'utilisation des LLMs a également soulevé des questions cruciales concernant leur fiabilité et leur transparence. En conséquence, il est urgent de comprendre plus profondément les mécanismes régissant le comportement des LLMs, d'interpréter leurs décisions et résultats de manière scientifiquement fondée, et d'évaluer précisément leurs capacités et leurs limites. Ajoutant à la complexité, les LLMs sont souvent impliqués comme un simple composant de certains "agentic workflows" plus larges. Dans un agentic workflow, les LLMs collaborent avec d'autres LLMs, des humains et des outils en échangeant des messages en langage naturel pour résoudre des problèmes complexes au-delà des capacités d'un LLM seul.
L'évaluation des LLMs est devenue particulièrement difficile car ils consomment la plupart d'Internet pendant leur pré-training, y compris la plupart des données test des benchmarks d'évaluation. De plus, le paysage des LLMs disponibles change rapidement et ils ont accès au web via des outils dans le cadre des agentic workflows. Par conséquent, de nouvelles méthodologies d'évaluation dépassant l'évaluation des compétences des modèles sur un ensemble de tests fixe sont nécessaires pour tenir compte de ces nouvelles évolutions.
Une direction prometteuse pour mener des analyses d'évaluation et d'interprétabilité est de s'inspirer du domaine des neurosciences qui, au fil des ans, a conçu des configurations expérimentales pour découvrir comment le cerveau humain traite et représente des informations utiles pour les tâches d'intérêt. De plus, nous pouvons obtenir de l'aide des outils d'analyse causale et d'inférence causale. Examiner les relations causales entre les entrées, les sorties et les états cachés des LLMs peut aider à construire des théories scientifiques sur le comportement de ces systèmes complexes. En outre, les méthodes d'inférence causale peuvent aider à découvrir les mécanismes causaux sous-jacents aux calculs complexes des LLMs, donnant l'espoir de mieux interpréter leurs décisions et comprendre leurs limites.
En travaillant sur un tel projet, vous devrez développer une compréhension solide de l'évaluation des systèmes complexes, des principes de l'inférence causale et de leur application à l'apprentissage automatique. Vous aurez l'opportunité de travailler sur des projets de recherche de pointe en TAL, contribuant au développement de LLMs plus fiables et interprétables. Il est important de noter que le projet de recherche doctorale doit être aligné avec vos intérêts et votre expertise. Par conséquent, la direction précise de la recherche peut et sera influencée par les goûts personnels et les objectifs de recherche de l'étudiant. Il est encouragé d'apporter votre perspective unique et vos idées à la table.
Contexte de travail
La thèse sera réalisée au sein de l'équipe Getalp du laboratoire LIG (https:///). Le LIG est unité mixte de recherche (Université Grenoble Alpes, CNRS, and INP). L'équipe GETALP a une forte expertise et un solide bilan en traitement automatique du langage naturel. La personne recrutée sera accueillie au sein de l'équipe qui offre un environnement de travail stimulant, multinational et agréable.
Les moyens pour mener à bien le doctorat seront fournis tant en termes de missions en France et à l'étranger qu'en termes d'équipement. Le candidat aura accès au cluster de GPU du LIG. De plus, l'accès au supercalculateur national Jean-Zay pourra être demander pour réaliser des expériences à grande échelle. Le poste de doctorant sera co-encadré par Maxime Peyrard et François Portet. De plus, le doctorant travaillera également avec des collaborateurs académiques externes à l'EPFL et à l'Idiap (par exemple, Robert West et Damien Teney) et des partenaires industriels externes (Microsoft Research).
Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.
-
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : (H/F) offre de thèse "Prédiction automatique de l'intonation à partir des gestes de la parole" Référence : UMR5216-CHRROM-033 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : vendredi 24 mai 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du contrat : 36...
-
Thèse sur la métallurgie des aciers tolérants aux impuretés
il y a 3 semaines
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : Thèse sur la métallurgie des aciers tolérants aux impuretés (H/F) Référence : UMR5266-HUGVAN-003 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : vendredi 7 juin 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du contrat : 36 mois Date de début de la...
-
Matériaux Absorbants Conformés Pour Kits de
il y a 2 semaines
Saint-Brieuc, France Institut d'Electronique et des Technologies du numéRique Temps plein**Matériaux absorbants conformés pour kits de réduction de la réflectivité électromagnétique de dispositifs de petites dimensions**: - Réf **ABG-123924** - Sujet de Thèse- 16/05/2024- Contrat doctoral- Institut d'Electronique et des Technologies du numéRique- Lieu de travail- Saint-Brieuc / Rennes - Bretagne - France- Intitulé du sujet-...
-
Thèse en informatique
Il y a 2 mois
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : Thèse en informatique (H/F) : Conception de solutions de collecte de données SHS sur les parcours de vie Référence : UMR5217-MARVIL-006 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : mercredi 17 avril 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du...
-
Thèse en informatique
il y a 3 semaines
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : Thèse en informatique (H/F) : Conception de solutions de collecte de données SHS sur les parcours de vie Référence : UMR5217-MARVIL-006 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : mercredi 17 avril 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du...
-
Postdoctoral reasearcher in LLM
il y a 4 semaines
Saint-Paul-lès-Durance, Provence-Alpes-Côte d'Azur, France Cea Temps pleinYou will be recruited to work on the Eurofusion project "Towards Tokamak operations Conversational AI Interface Using Multimodal Large Language Models".The main objectives are:Develop an LLM workflow capable of processing diverse data formats—textual, visual, and numerical—to support session leaders/coordinators for tokamak operations before and during...
-
Postdoctoral reasearcher in LLM
il y a 5 jours
Saint-Paul-lès-Durance, Provence-Alpes-Côte d'Azur, France Cea Temps pleinYou will be recruited to work on the Eurofusion project "Towards Tokamak operations Conversational AI Interface Using Multimodal Large Language Models".The main objectives are:Develop an LLM workflow capable of processing diverse data formats—textual, visual, and numerical—to support session leaders/coordinators for tokamak operations before and during...
-
Postdoctoral reasearcher in LLM
il y a 3 semaines
Saint-Paul-lès-Durance, Provence-Alpes-Côte d'Azur, France Cea Temps pleinYou will be recruited to work on the Eurofusion project "Towards Tokamak operations Conversational AI Interface Using Multimodal Large Language Models".The main objectives are:Develop an LLM workflow capable of processing diverse data formats—textual, visual, and numerical—to support session leaders/coordinators for tokamak operations before and during...
-
Évaluateur(-trice) Généraliste Grossesse
Il y a 2 mois
Saint-Denis, France Agence nationale de sécurité du médicament et des produits de santé Temps plein**Vous recherchez un nouveau challenge ?** **Vous voulez vous engager dans un travail qui a du sens ?** **La santé publique, ça vous parle ?** L’Agence nationale de sécurité du médicament et des produits de santé est faite pour vous ! Acteur majeur de la santé publique au service des patients, l'ANSM agit au nom de l'État afin que les produits de...
-
Évaluateur(-trice) Généraliste Grossesse
il y a 4 jours
Saint-Denis, France Agence nationale de sécurité du médicament et des produits de santé Temps plein**Vous recherchez un nouveau challenge ?** **Vous voulez vous engager dans un travail qui a du sens ?** **La santé publique, ça vous parle ?** L’Agence nationale de sécurité du médicament et des produits de santé est faite pour vous ! Acteur majeur de la santé publique au service des patients, l'ANSM agit au nom de l'État afin que les produits de...
-
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : Bourse de doctorat en formation stellaire et planétaire pour etudier l'évolution des poussières et l'exploitation des données d’une expérience d’analogie micro-onde. (H/F) Référence : UMR5274-MARANG-012 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : lundi 3...
-
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : Bourse de doctorat en formation stellaire et planétaire pour etudier l'évolution des poussières et l'exploitation des données d’une expérience d’analogie micro-onde. (H/F) Référence : UMR5274-MARANG-012 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : lundi 3...
-
(M/F) PhD offer
il y a 1 mois
Saint-Martin-d'Hères, France CNRS Temps pleinInformations générales Intitulé de l'offre : (H/F) offre de thèse "Prédiction automatique de l'intonation à partir des gestes de la parole" Référence : UMR5216-CHRROM-033 Nombre de Postes : 1 Lieu de travail : ST MARTIN D HERES Date de publication : vendredi 24 mai 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du contrat : 36...
-
Evaluation de La Vulnérabilité Des élevages de
Il y a 2 mois
Saint-Gilles, France INRAE UMR PEGASE Temps plein**Evaluation de la vulnérabilité des élevages de porcs et du bilan environnemental des stratégies d’adaptation au changement climatique**: - Réf - **ABG-113987** - Sujet de Thèse- 01/05/2023- Contrat doctoral- INRAE UMR PEGASE- Lieu de travail- Saint-Gilles - Bretagne - France- Intitulé du sujet- Evaluation de la vulnérabilité des élevages de...
-
Evaluateur Scientifique Pharmacocinétique
il y a 3 semaines
Saint-Denis, France Agence nationale de sécurité du médicament et des produits de santé Temps pleinÉtablissement public de près de 1000 collaborateurs placé sous la tutelle du Ministère des Affaires Sociales, de la Santé des Droits des Femmes, l’Agence Nationale de Sécurité du Médicament et des produits de santé (ANSM) exerce ses compétences dans le champ de l’ensemble des produits de santé, médicaments, produits biologiques, dispositifs...
-
Saint-Martin-dHères, Auvergne-Rhône-Alpes, France CNRS Temps pleinBourse de doctorat en formation stellaire et planétaire pour etudier l'évolution des poussières et l'exploitation des données d'une expérience d'analogie micro-onde. (Cette offre est disponible dans les langues suivantes : Date Limite Candidature : lundi 24 juin 2024 Assurez-vous que votre profil candidat soit correctement renseigné avant de postuler ...
-
Postdoctoral reasearcher in LLM
il y a 4 semaines
Saint Paul Lez Durance, France Cea Temps pleinYou will be recruited to work on the Eurofusion project "Towards Tokamak operations Conversational AI Interface Using Multimodal Large Language Models".The main objectives are:Develop an LLM workflow capable of processing diverse data formats—textual, visual, and numerical—to support session leaders/coordinators for tokamak operations before and during...
-
Evaluateur Clinique
il y a 2 semaines
Saint-Denis, France Agence nationale de sécurité du médicament et des produits de santé Temps plein**Vous recherchez un nouveau challenge ?** **Vous voulez vous engager dans un travail qui a du sens ?** **La santé publique, ça vous parle ?** L’Agence nationale de sécurité du médicament et des produits de santé est faite pour vous ! Acteur majeur de la santé publique au service des patients, l'ANSM agit au nom de l'État afin que les produits de...
-
Saint-Sébastien-sur-Loire, France CNRS Temps pleinInformations générales Intitulé de l'offre : Thèse (H/F) sur "Dislocations dans les nanomatériaux carbonés multicouches" Référence : UMR6502-CHREWE-002 Nombre de Postes : 1 Lieu de travail : NANTES Date de publication : lundi 13 mai 2024 Type de contrat : CDD Doctorant/Contrat doctoral Durée du contrat : 36 mois Date de début de la thèse :...
-
Protein-based Films in Food Packaging: Development
il y a 6 jours
Mont-Saint-Aignan, France UMR6270 Polymères Biopolymères et Surfaces Temps plein**Protein-based films in food packaging: development and characterization**: - Réf **ABG-123344** - Sujet de Thèse- 24/04/2024- Financement public/privé- UMR6270 Polymères Biopolymères et Surfaces- Lieu de travail- Mont Saint Aignan - Normandie - France- Intitulé du sujet- Protein-based films in food packaging: development and characterization- Champs...
