Exploitation D'un Grand Modèle de Langage Et D'une

Description du poste

**Domaine**:

- Sciences pour l'ingénieur

**Contrat**:

- Stage

**Intitulé de l'offre**:

- Exploitation d'un grand modèle de langage et d'une reconstruction 3D neurale sémantique pour la navi H/F

**Sujet de stage**:

- Dans le cadre de ce stage, nous proposons d'étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L'étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d'actions, ainsi qu'une représentation neurale 3D sémantisée de la scène et d'outils d'analyse de cette dernière pour connecter le LLM au monde réel.
En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA.

**Durée du contrat (en mois)**:

- 6

**Description de l'offre**:
**Objectifs du stage**:
L’étudiant aura pour charge de:

- Prendre en main les représentations neurales 3D développées au laboratoire LVML et mettre en place les outils d’analyse adaptés à la tâche de navigation (recherche de la destination, détection des obstacles...).
- Mettre en place un LLM en mode REACT pour analyser la requête utilisateur, réaliser la planification de tâches de navigation et invoquer les outils nécessaires (analyse de scène 3D, calcul et suivi de trajectoire...).
- Tester et évaluer la méthode dans un simulateur (eg. Habitat)
- Mettre en place le démonstrateur sur une plateforme robotique réelle (intégration des algorithmes de localisation, de contrôle-commande, etc., dans le framework robotique ROS).

[1] Liu, R., Wang, W., & Yang, Y. (2024). Volumetric Environment Representation for Vision-Language Navigation.[1] Liu, R., Wang, W., & Yang, Y. (2024). Volumetric Environment Representation for Vision-Language Navigation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 16317-16328).- [2] Wang, Z., Li, X., Yang, J., Liu, Y., Hu, J., Jiang, M., & Jiang, S. (2024). Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 13753-13762).- [3] Gu, J., Stefani, E., Wu, Q., Thomason, J., & Wang, X. E. (2022). Vision-and-language navigation: A survey of tasks, methods, and future directions. arXiv preprint arXiv:2203.12667.**Compétences développées au cours du stage**
- Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ouvert...), du contrôle robotique, et des modèles de langage. L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, NeRFStudion...). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants.**Moyens / Méthodes / Logiciels**:

- Deep Learning- Formation / Niveau d’étude : Ingénieur, Master 2 / Bac+5- Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes._

Localisation du poste

**Site**:

- Saclay

**Localisation du poste**:

- France, Ile-de-France

**Ville**:

- Palaiseau

**Diplôme préparé**:

- Bac+5 - Diplôme École d'ingénieurs

Demandeur

**Disponibilité du poste**:

- 03/03/2025

Informations générales

**Entité de rattachement**:
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales:

- La conscience des responsabilités
- La coopération
- La curiosité

**Référence **:2024-33173