Optimisation Des Modèles de Langage

**Contexte du stage**:
Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique Paris-Saclay, vous prendrez une part active dans les travaux de recherche et développements au sein d’une recherche exploratoire qui s’intéresse à l’amélioration des modèles de langage en s’appuyant sur le feedback de l’humain.

Vous serez encadré par des ingénieurs-chercheurs SystemX du domaine Science des données et IA. Vous travaillerez au sein d’un projet de recherche exploratoire SystemX en partenariat avec le Centre de Recherche en Informatique de Lens (CRIL). Vous aurez également des interactions régulières avec les équipes et les groupes de travail sur le sujet porté par cette recherche exploratoire.

**Présentation du sujet**:
**Contexte**
Les grands modèles de langage (LLM) tels que GPT-4 ont révolutionné le domaine de l’intelligence artificielle en offrant des capacités impressionnantes pour comprendre et générer du texte. Cependant, ces modèles présentent des limitations en termes de précision factuelle et de mise à jour des informations. Ils peuvent être sujets à des phénomènes d’hallucination qui les rendent difficilement exploitables sans intervention humaine pour vérifier la pertinence et la précision des résultats générés. L’intégration de techniques de génération augmentée par récupération (RAG) et l’apprentissage renforcé par retour d’information de l’humain (**RLHF-Reinforcement Learning with Human Feedback**) offrent des solutions prometteuses pour surmonter ces défis et peuvent contribuer à l’atténuation des effets d’hallucination et de production incohérente de ces modèles.

**Objectif du stage**
Ce stage vise à explorer et à implémenter des techniques avancées telles que la génération augmentée par récupération et l’apprentissage renforcé par retour d’information de l’humain pour améliorer la précision et la pertinence des modèles LLM.

Vos **missions** pour ce stage seront les suivantes:

- **Étude de la littérature** : Réaliser une revue des travaux de recherche existants sur les techniques RLHF appliquées aux modèles de langage. Comprendre les mécanismes par lesquels ces techniques peuvent réduire les hallucinations et améliorer la cohérence des modèles LLM.
- **Développement méthodologique**: Proposer et développer une approche pour intégrer le feedback humain dans le processus de fine-tuning des LLM, en utilisant des techniques de RLHF.
- **Implémentation et tests**: Mettre en œuvre un pipeline RLHF pour un modèle de langage pré-entraîné, incluant les étapes de raffinement, d’entrainement du modèle de récompense, et de ré-raffinement.
- **Évaluation des performances**: Évaluer les performances du modèle affiné à l’aide de métriques quantitatives (perplexité, ROUGE, BLEU, BERTScore ) et qualitatives (évaluation humaine, tests de sécurité et d’éthique) sur des jeux de données réels.
- **Analyse des résultats**: Analyser les sorties du modèle dans le but d’identifier les améliorations en termes de précision, de pertinence, et de réduction d’hallucination.
- **Documentation **:Rédiger un rapport détaillé des méthodes, expériences et résultats obtenus pour faciliter la reproduction des travaux.

**Références**
[1] Yao, Yifan, et al. « A survey on large language model (llm) security and privacy: The good, the bad, and the ugly. » _High-Confidence Computing_ (2024): 100211.
[2] Fan, Wenqi, et al. « A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models. » _Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining_. 2024.
[3] Cai, Zefan, Baobao Chang, and Wenjuan Han. « Humanin-the-Loop through Chain-of-Thought. » _arXiv preprint arXiv:2306.07932_ (2023).
[4] Zhang, Ruichen, et al. « Interactive AI with retrieval-augmented generation for next generation networking. » _IEEE Network_ (2024).
[5] Dai, Shih-Chieh, Aiping Xiong, and Lun-Wei Ku. « LLM-in-the-loop: Leveraging large language model for thematic analysis. » _arXiv preprint arXiv:2310.15100_ (2023).
[6] LEE, Harrison, PHATALE, Samrat, MANSOOR, Hassan, _et al._ RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. In : _Forty-first International Conference on Machine Learning_.
[7] Afzal, Anum, et al. « Towards Optimizing and Evaluating a Retrieval Augmented QA Chatbot using LLMs with Human in the Loop. » _arXiv preprint arXiv:2407.05925_ (2024).
[8] Wang, Xi, et al. « Adaptive Retrieval-Augmented Generation for Conversational Systems. » _arXiv preprint arXiv:2407.21712_ (2024).
[9] Freitas, Bruno Amaral Teixeira, and Roberto de Alencar Lotufo. « Retail-GPT: leveraging Retrieval Augmented Generation (RAG) for building E-commerce Chat Assistants. » _arXiv preprint arXiv:2408.08925_ (2024).
[10] Kulkarni, Mandar, et al. « Reinforcement Learning for Optimizing RAG fo