Stage M2: Vulnérabilités Des Modèles D'ia Générative Lors de La Phase D'adaptation

Description du poste

**Domaine**:

- Mathématiques, information scientifique, logiciel

**Contrat**:

- Stage

**Intitulé de l'offre**:

- Stage M2: Vulnérabilités des modèles d'IA générative lors de la phase d'adaptation H/F

**Sujet de stage**:

- Si l'intelligence artificielle (IA) et plus particulièrement l'apprentissage profond ont permis de réaliser des progrès significatifs dans de nombreux domaines (vision par ordinateur, sécurité des systèmes d'information, génération de contenu ), le déploiement de ces technologies s'accompagne également de risques spécifiques. En effet, un système d'IA présente de nombreuses vulnérabilités tout au long de son cycle de vie (entrainement, déploiement, production) qu'un acteur malveillant peut exploiter afin d'attaquer l'intégrité du modèle, l'éthique de l'IA ou compromettre la confidentialité des données d'entrainement. Le stage consistera à mettre en œuvre des attaques / défenses spécifiques aux nouveaux usages (utilisation de prompts) et concepts (RAG, in-context learning) des IA génératives.

**Durée du contrat (en mois)**:

- 6 mois

**Description de l'offre**:
**Rejoignez-nous en Stage **
- En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

**Description du poste**:

- Nous observons actuellement l’augmentation de la mise à disposition de modèles profonds pré-entrainés (modèles de fondations) qui vont ensuite être adaptés pour la réalisation d’une tache spécifique. Parmi les techniques d’adaptation, deux sont particulièrement intéressantes car elles ne nécessitent pas nécessairement de modifier les paramètres internes du modèle:

- RAG (Génération Augmentée par Récupération) permet aux modèles d’IA générative de se référer à une base de connaissances externe afin de générer un contenu mis à jour et spécialisé
- In-context learning (apprentissage en contexte) désigne la capacité d’un modèle d'IA générative à apprendre ou à adapter son comportement à partir d’exemples ou d’instructions fournis dans le prompt
- Bien que l'utilisation de ces usages est en train de se démocratiser dans le monde industriel, il y a encore beaucoup d'incertitudes concernant les risques autour de ces techniques de personnalisation. Le sujet de stage proposé consiste à étudier les menaces liées à l'intégrité lors de l’adaptation de modèles d'IA générative par des techniques de type RAG ou In-context learning.
- Le stage débutera par une étude bibliographique sur les attaques (notamment les attaques backdoor) contre les systèmes RAG [1;2] et In-context learning [3 ;4]. Les attaques prometteuses seront implémentées et évaluées. Des défenses pourront ensuite être proposées et testées.

[1] W. Zou, R. Geng, B. Wang, and J. Jia. ‘PoisonedRAG: Knowledge poisoning attacks to retrieval-augmented generation of large language models’. ArXiv 2402.07867. Aug. 2024.
- [2] H. Chaudhari, G. Severi, J. Abascal, M. Jagielski, C. A. Choquette-Choo, M. Nasr, C. Nita-Rotaru, and A. Oprea. ‘Phantom: General Trigger Attacks on Retrieval Augmented Language Generation’. ArXiv 2405.20485. Oct. 2025.
- [3] N. Kandpal, M. Jagielski, F. Tramer, and N. Carlini. ‘Backdoor Attacks for In-Context Learning with Language Models’. ArXiv 2307.14692. Jul. 2023.
- [4] S. Zhao, M. Jia, L.A. Tuan, F. Pan, and J. Wen. ‘Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-Context Learning’. ArXiv 2401.05949. Oct. 2024.

**Qu’attendons-nous de vous ?**
- La durée du stage est de 6 mois minimum et sera rémunéré.

**Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles **

**Vous avez encore un doute ? Nous vous proposons**:

- L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
- Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
- Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
- Des moyens expérimentaux exceptionnels et un encadrement de qualité,
- Une participation aux transports en commun à hauteur de 85%,
- Un équilibre vie privée - vie professionnelle reconnu,
- Un restaurant d'entreprise,
- Une politique diversité et inclusion.
- Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés._

Localisation du poste

**Site**:

- Saclay

**Localisation du poste**:

- France, Ile-de-France, Essonne (91)

**Ville**:

- GIF-SUR-YVETTE

**Langues**:

- Français (Courant)
- Anglais (Courant)