Optimisation Des Modèles de Langage
il y a 3 semaines
**Contexte du stage**:
Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique Paris-Saclay, vous prendrez une part active dans les travaux de recherche et développements au sein d’une recherche exploratoire qui s’intéresse à l’amélioration des modèles de langage en s’appuyant sur le feedback de l’humain.
Vous serez encadré par des ingénieurs-chercheurs SystemX du domaine Science des données et IA. Vous travaillerez au sein d’un projet de recherche exploratoire SystemX en partenariat avec le Centre de Recherche en Informatique de Lens (CRIL). Vous aurez également des interactions régulières avec les équipes et les groupes de travail sur le sujet porté par cette recherche exploratoire.
**Présentation du sujet**:
**Contexte**
Les grands modèles de langage (LLM) tels que GPT-4 ont révolutionné le domaine de l’intelligence artificielle en offrant des capacités impressionnantes pour comprendre et générer du texte. Cependant, ces modèles présentent des limitations en termes de précision factuelle et de mise à jour des informations. Ils peuvent être sujets à des phénomènes d’hallucination qui les rendent difficilement exploitables sans intervention humaine pour vérifier la pertinence et la précision des résultats générés. L’intégration de techniques de génération augmentée par récupération (RAG) et l’apprentissage renforcé par retour d’information de l’humain (**RLHF-Reinforcement Learning with Human Feedback**) offrent des solutions prometteuses pour surmonter ces défis et peuvent contribuer à l’atténuation des effets d’hallucination et de production incohérente de ces modèles.
**Objectif du stage**
Ce stage vise à explorer et à implémenter des techniques avancées telles que la génération augmentée par récupération et l’apprentissage renforcé par retour d’information de l’humain pour améliorer la précision et la pertinence des modèles LLM.
Vos **missions** pour ce stage seront les suivantes:
- **Étude de la littérature** : Réaliser une revue des travaux de recherche existants sur les techniques RLHF appliquées aux modèles de langage. Comprendre les mécanismes par lesquels ces techniques peuvent réduire les hallucinations et améliorer la cohérence des modèles LLM.
- **Développement méthodologique**: Proposer et développer une approche pour intégrer le feedback humain dans le processus de fine-tuning des LLM, en utilisant des techniques de RLHF.
- **Implémentation et tests**: Mettre en œuvre un pipeline RLHF pour un modèle de langage pré-entraîné, incluant les étapes de raffinement, d’entrainement du modèle de récompense, et de ré-raffinement.
- **Évaluation des performances**: Évaluer les performances du modèle affiné à l’aide de métriques quantitatives (perplexité, ROUGE, BLEU, BERTScore ) et qualitatives (évaluation humaine, tests de sécurité et d’éthique) sur des jeux de données réels.
- **Analyse des résultats**: Analyser les sorties du modèle dans le but d’identifier les améliorations en termes de précision, de pertinence, et de réduction d’hallucination.
- **Documentation **:Rédiger un rapport détaillé des méthodes, expériences et résultats obtenus pour faciliter la reproduction des travaux.
**Références**
[1] Yao, Yifan, et al. « A survey on large language model (llm) security and privacy: The good, the bad, and the ugly. » _High-Confidence Computing_ (2024): 100211.
[2] Fan, Wenqi, et al. « A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models. » _Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining_. 2024.
[3] Cai, Zefan, Baobao Chang, and Wenjuan Han. « Humanin-the-Loop through Chain-of-Thought. » _arXiv preprint arXiv:2306.07932_ (2023).
[4] Zhang, Ruichen, et al. « Interactive AI with retrieval-augmented generation for next generation networking. » _IEEE Network_ (2024).
[5] Dai, Shih-Chieh, Aiping Xiong, and Lun-Wei Ku. « LLM-in-the-loop: Leveraging large language model for thematic analysis. » _arXiv preprint arXiv:2310.15100_ (2023).
[6] LEE, Harrison, PHATALE, Samrat, MANSOOR, Hassan, _et al._ RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. In : _Forty-first International Conference on Machine Learning_.
[7] Afzal, Anum, et al. « Towards Optimizing and Evaluating a Retrieval Augmented QA Chatbot using LLMs with Human in the Loop. » _arXiv preprint arXiv:2407.05925_ (2024).
[8] Wang, Xi, et al. « Adaptive Retrieval-Augmented Generation for Conversational Systems. » _arXiv preprint arXiv:2407.21712_ (2024).
[9] Freitas, Bruno Amaral Teixeira, and Roberto de Alencar Lotufo. « Retail-GPT: leveraging Retrieval Augmented Generation (RAG) for building E-commerce Chat Assistants. » _arXiv preprint arXiv:2408.08925_ (2024).
[10] Kulkarni, Mandar, et al. « Reinforcement Learning for Optimizing RAG fo
-
Optimisation Topologique en Mécanique Des Fluides
il y a 3 semaines
Gif-sur-Yvette, France IRT SystemX Temps plein**Contexte du stage**: Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs...
-
Stagiaire Data Scientist
il y a 1 mois
Gif-sur-Yvette, France Servier Temps plein**Date de parution**:21 oct. 2024**Ville**:GIF-SUR-YVETTE**Pays/Région**:FR**Type de contrat**:Stage**N° offre**:7143Stagiaire Data Scientist (H/F) - Nous sommes un groupe pharmaceutique à dimension humaine, international et indépendant, gouverné par une Fondation. Notre modèle, singulier, fait notre fierté mais, surtout, nous permet de servir...
-
Délégué de Data Science et Intelligence Artificielle
il y a 1 semaine
Gif-sur-Yvette, Île-de-France Servier Temps pleinNous sommes un groupe pharmaceutique international et indépendant, gouverné par une Fondation. Notre modèle unique nous permet de servir pleinement notre vocation : « engagés pour le progrès thérapeutique au bénéfice des patients ».Aujourd'hui leader mondial en cardiologie, nous avons choisi de devenir un acteur focalisé et innovant en oncologie...
-
Data Scientist Stagiaire
il y a 4 semaines
Gif-sur-Yvette, Île-de-France Servier Temps pleinNous sommes un groupe pharmaceutique à dimension humaine, international et indépendant, gouverné par une Fondation. Notre modèle, singulier, fait notre fierté mais, surtout, nous permet de servir pleinement notre vocation : « engagés pour le progrès thérapeutique au bénéfice des patients ». Aujourd'hui leader mondial en cardiologie, nous...
-
Gif-sur-Yvette, France CEA Temps pleinDescription de l'offre Nous observons actuellement l’augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d’une tache spécifique. Cette phase d'adaptation fournit de nouvelles possibilités d'attaques qui vont être étudiées au cours de ce stage....
-
Gif-sur-Yvette, Île-de-France Servier Temps pleinAccédez à un Défi Intronisé en StatistiquesServier, leader mondial en cardiologie, cherche un Stagiaire Biostatisticien pour rejoindre son équipe innovante. Ce poste vous offrira la possibilité d'apporter vos compétences avancées en statistiques et langage R au développement de médicaments oncologiques.Mission PrincipaleVous serez chargé de...
-
Gif-sur-Yvette, France CNRS Temps pleinInformations générales Intitulé de l'offre : Post-doctorant-e (H/F) CNRS – modélisation de la productivité biologique lors des réchauffements passés Référence : UMR8212-NATBOU-005 Nombre de Postes : 1 Lieu de travail : GIF SUR YVETTE Date de publication : mardi 1 octobre 2024 Type de contrat : CDD Scientifique Durée du contrat : 12 mois...
-
Gif-sur-Yvette, France CNRS Temps pleinInformations générales Intitulé de l'offre : Post-doctorant-e (H/F) CNRS – modélisation de la productivité biologique lors des réchauffements passés Référence : UMR8212-NATBOU-005 Nombre de Postes : 1 Lieu de travail : GIF SUR YVETTE Date de publication : mardi 1 octobre 2024 Type de contrat : Chercheur en contrat CDD Durée du contrat :...
-
Stagiaire Biostatisticien
il y a 1 mois
Gif-sur-Yvette, France Servier Temps plein**Date de parution**:21 oct. 2024**Ville**:GIF-SUR-YVETTE**Pays/Région**:FR**Type de contrat**:Stage**N° offre**:7210Stagiaire Biostatisticien (H/F) - Nous sommes un groupe pharmaceutique à dimension humaine, international et indépendant, gouverné par une Fondation. Notre modèle, singulier, fait notre fierté mais, surtout, nous permet de servir...
-
Gif-sur-Yvette, France CEA Temps pleinDescription de l'offre Le SERMA développe des outils de calcul pour la radioprotection, notamment le code de référence Monte-Carlo TRIPOLI-4® et le code simplifié NARMER-1. Ce dernier, successeur du code MERCURE-6, permet un calcul de l’atténuation des photons gamma en ligne droite dans des géométries à trois dimensions pour notamment...
-
Doctorant (F/H) Conception Assistée Et
Il y a 5 mois
Gif-sur-Yvette, France Inria Temps plein**Type de contrat **:CDD **Niveau de diplôme exigé **:Bac + 5 ou équivalent **Fonction **:Doctorant **A propos du centre ou de la direction fonctionnelle**: Le centre de recherche Inria de Saclay a été créé en 2008. Sa dynamique s’inscrit dans le développement du plateau de Saclay, en partenariat étroit d’une part avec le pôle de...
-
Chercheur postdoctoral
il y a 1 mois
Gif-sur-Yvette, France CNRS Temps pleinInformations générales Intitulé de l'offre : Chercheur postdoctoral : Portage à l'Exascale d’un code de simulation Sparse-PIC 3D pour la modélisation des plasmas(H/F) Référence : UMR5213-DELDAL-020 Nombre de Postes : 1 Lieu de travail : GIF SUR YVETTE CEDEX Date de publication : lundi 28 octobre 2024 Type de contrat : CDD Scientifique Durée...
-
Stagiaire Data Scientist
il y a 4 semaines
Bures-sur-Yvette, France SERVIER Temps pleinPoste : Mission principale Nous recherchons un(e) stagiaire motivé(e) et passionné(e) par l'intelligence artificielle, le traitement du langage naturel (NLP), et le développement de systèmes multi-agents. Au sein de notre équipe technique, vous contribuerez à la création et à l'optimisation de prompts efficaces pour...
-
Stagiaire Data Scientist
il y a 1 mois
Bures-sur-Yvette, France SERVIER Temps pleinPoste : Mission principale Nous recherchons un(e) stagiaire motivé(e) et passionné(e) par l'intelligence artificielle, le traitement du langage naturel (NLP), et le développement de systèmes multi-agents. Au sein de notre équipe technique, vous contribuerez à la création et à l'optimisation de prompts efficaces pour...
-
Poste Enseignant Chercheur Maitre de Conférences
Il y a 5 mois
Gif-sur-Yvette, France CentraleSupélec Temps pleinreconnue dans ce domaine. La prise en compte de critères économiques et financiers mais aussi environnementaux et sociétaux dans ces travaux est un plus. Il/elle devra pouvoir s’appuyer sur divers modèles quantitatifs (programmation mathématique, modèles probabilistes/stochastiques, modèles statistiques, data analytics, simulation à évènements...
-
Post-doctorant-e (H/F)
Il y a 2 mois
Gif-sur-Yvette, France CNRS Temps pleinCette offre est disponible dans les langues suivantes: - Français - Anglais Date Limite Candidature : mardi 22 octobre 2024 23:59:00 heure de Paris **Informations générales**: **Intitulé de l'offre **:Post-doctorant-e (H/F) CNRS - modélisation de la productivité biologique lors des réchauffements passés** Référence : UMR8212-NATBOU-005 Nombre de...
-
Gif-sur-Yvette, France CEA Temps pleinDescription de l'offre Les simulations Monte-Carlo du vruit neutronique s’appuient généralement sur un traitement perturbatif du bruit, linéarisé au premier ordre. Cependant, cette modélisation est parfois mise en défaut, notamment dans le calcul des harmoniques d’ordre supérieur du bruit induit par vibration mécaniques. L’objectif du...
-
Chercheur en mécanique expérimentale postdoctoral
il y a 4 semaines
Gif-sur-Yvette, Île-de-France CNRS Temps pleinMissions et responsabilitésLe postdoctorant en mécanique expérimentale sera chargé de mener des recherches sur l'identification et la validation expérimentale de modèles constitutifs pour les matériaux architecturés. Il/elle collaborera avec l'équipe Eikology au Laboratoire de Mécanique de Paris-Saclay (LMPS) et avec des partenaires...
-
Post-doctorant en Mécanique Expérimentale
il y a 4 semaines
Gif-sur-Yvette, Île-de-France CNRS Temps pleinOffre de Post-doctorat en Mécanique ExpérimentaleL'équipe Eikology du Laboratoire de Mécanique de Paris-Saclay (LMPS) recherche un post-doctorant pour mener des recherches sur l'identification et la validation expérimentale de modèles constitutifs pour les matériaux architecturés.MissionsLe post-doctorant travaillera sur le développement de...
-
POST-DOC en traitement d'images H/F
il y a 4 semaines
Gif-sur-Yvette, Île-de-France CNRS Temps pleinOffre de posteLe Centre Borelli UMR 9010 de l'ENS Paris-Saclay recherche un post-doctorant pour rejoindre son équipe de traitement d'images.MissionsLe post-doctorant sera chargé de travailler sur deux projets principaux :1. La géolocalisation à partir d'images et la modélisation visuelle de flammes.2. L'analyse de vidéos de brûleurs dans des fours...
