Stage Intelligence Artificielle

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités

• La coopération

• La curiosité

Référence

Description de l'unité

Ce stage aura lieu au #CEA-List, dans le Laboratoire Intelligence Intégrée Multi-capteurs, qui regroupe des experts en intelligence artificielle, système embarqués et capteurs.

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Stage Intelligence Artificielle - Optimisation de modèles de langage (LLM) pour l'embarqué

Sujet de stage

Ce stage vise à mettre en place une infrastructure logicielle pour optimiser des modèles de langages (LLMs) afin de permettre leur implémentation sur du matériel embarqué performant. En partant d'infrastructures logicielles existantes, le stage vise à y intégrer des méthodes d'optimisation (telles que la quantification) adaptées au système embarqué.

Durée du contrat (en mois)

6

Description de l'offre

Les Modèles de Langage Larges (LLMs), tels que ChatGPT, ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLMs sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, une importante ligne de recherche se concentre sur l'optimisation de ces modèles. Les chaînes d'outils open-source existantes, telles que LLM Compressor [1] et OpenVINO [2], permettent des optimisations presque automatiques pour compresser les LLMs en versions plus petites, par exemple par quantification (quantization) et élagage (pruning). Cependant, elles ne ciblent que les matériels conventionnels, tels que les GPU. De nouveaux paradigmes matériels, tels que le Calcul en Mémoire (IMC), promettent d'accélérer et de réduire la consommation d'énergie des LLMs [3]. Cependant, l'exécution des LLMs sur ces matériels nécessite des optimisations spécifiques en raison des caractéristiques de ces matériels. Par exemple, ils nécessitent une quantification extrême du modèle (réduction du nombre de bits sur lesquels les données, les poids et les activations sont encodés), car les calculs IMC ont un nombre limité de bits, et l'optimisation de la robustesse du modèle, car les calculs IMC sont sujets aux erreurs.
Ce stage vise à mettre en place une infrastructure logicielle pour mapper, simuler et explorer les performances des LLMs sur le matériel IMC, en partant des chaînes d'outils open-source existantes et en intégrant des fonctionnalités dédiées au matériel IMC, telles que la quantification et les modèles d'erreurs. L'étudiant sera intégré au sein d'une équipe multidisciplinaire d'ingénieurs de recherche, de doctorants, de post-doctorants et de stagiaires, au cœur d'un écosystème de partenaires industriels et académiques dans le domaine de l'IA embarquée. Il/elle aura accès à une infrastructure de supercalculateurs. Il/elle bénéficiera d'une expertise accrue en LLMs, méthodes de compression et matériels efficaces pour l'IA. En s'appuyant sur les outils et les connaissances développés pendant le stage, l'étudiant pourrait se voir offrir l'opportunité de poursuivre un doctorat sur les méthodes de compression pour les LLMs.

[1] [2] [3] Analog Foundation Models, Büchel et al, NeurIPS 2025.

Profil du candidat

Étudiant en dernière année d'école d'ingénieur ou en Master 2 en informatique ou Intelligence Artificielle ou systèmes embarqués.

Forte motivation pour apprendre et contribuer à la recherche en IA. Bonne connaissance en informatique, en environnement de programmation (Unix), langage (Python), outils de développement (Git). Bonne connaissance et expérience dans le deep learning et les outils de développement associés (Pytorch ou Tensorflow). Une connaissance des systèmes embarqués est un plus.

Site

Grenoble

Localisation du poste

France, Auvergne-Rhône-Alpes, Isère (38)

Ville

Grenoble

Critères candidat
Diplôme préparé

Bac+5 - Master 2

Formation recommandée

Dernière année d'école d'ingénieur ou Master 2 (informatique ou IA ou systèmes embarqués)

Possibilité de poursuite en thèse

Oui

---