Modèle de Langage Et Reconstruction 3D Neurale

Description du poste

**Domaine**:

- Autre

**Contrat**:

- Stage

**Intitulé de l'offre**:

- Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F

**Sujet de stage**:

- A la frontière de l'intelligence artificielle et de la robotique, vous travaillerez sur l'exploitation conjointe d'un grand modèle de langage et d'une reconstruction 3D basée sur des approches neurales pour permettre à un robot de naviguer dans son environnement selon des instructions fournies en langage naturel.

**Durée du contrat (en mois)**:

- 5 à 6 mois

**Description de l'offre**:
**Contexte du stage**

Si la robotique autonome connaît actuellement de grandes avancées, les intelligences artificielles qui guident ces robots se limitent généralement à une planification à court terme, sur l’environnement immédiat du robot, et pour des domaines de requêtes prédéfinies. Pour aller vers plus de polyvalence, il est nécessaire de développer des Intelligences Artificielles (IA) capable de planifier, sur la base d’une requête en langage naturel, une série d’actions sur des horizons temporels lointain, impliquant des lieux ou des éléments qu’ils ont observés par le passé mais qui sont hors du champ de perception actuel du robot.**Objectifs du stage**
- Dans le cadre de ce stage, nous proposons d’étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L’étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d’actions, ainsi qu’une représentation neurale 3D sémantisée de la scène et d’outils d’analyse de cette dernière pour connecter le LLM au monde réel.
En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA.
L’étudiant aura pour charge de:
- Prendre en main les représentations neurales 3D développées au laboratoire LVML et mettre en place les outils d’analyse adaptés à la tâche de navigation (recherche de la destination, détection des obstacles...)..
- Mettre en place un LLM en mode REACT pour analyser la requête utilisateur, réaliser la planification de tâches de navigation et invoquer les outils nécessaires (analyse de scène 3D, calcul et suivi de trajectoire...).
- Tester et évaluer la méthode dans un simulateur (eg. Habitat).
- Mettre en place le démonstrateur sur une plateforme robotique réelle (intégration des algorithmes de localisation, de contrôle-commande, etc., dans le framework robotique ROS).
- [1] Volumetric Environment Representation for Vision-Language Navigation. CVPR 2024- [2] Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. CVPR 2024- [3] Vision-and-language navigation: A survey of tasks, methods, and future directions; Arxiv 2022**Rejoignez-nous en Stage **
- CEA Tech Corporate from CEA Tech on Vimeo.- En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche renommé. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des ressources de premier ordre pour mener à bien vos missions.**Qu’attendons-nous de vous ?**
- Vous préparez un diplôme de niveau Master 2, devra disposer de connaissance en IA et en robotique, ainsi qu’une bonne maîtrise de python. Une expérience sur Pytorch et/ou ROS sera appréciée.**Que pouvez-vous espérer du stage**
- Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ouvert...), du contrôle robotique, et des modèles de langage. L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, NeRFStudion...). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants et de découvrir le métier de la recherche.**Informations générales**
- Formation / Niveau d’étude : Ingénieur, Master 2 / Bac+5
Possibilité poursuite : Oui, en thèse ou CDD selon profil.
- Durée : 6 mois
- Lieu : Palaiseau (91) - Centre d’intégration de Nano-INNOV
- Indemnités de stage : 1400 € / Aide au logement / transport / restauration.

**Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles **

**Vous avez encore un doute ? Nous vous proposons**:

- L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
- Un