Modèle de Langage Et Reconstruction 3D Neurale

Il y a 3 mois

Palaiseau, France CEA Temps plein

Description du poste

**Domaine**:

- Autre

**Contrat**:

- Stage

**Intitulé de l'offre**:

- Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F

**Sujet de stage**:

- A la frontière de l'intelligence artificielle et de la robotique, vous travaillerez sur l'exploitation conjointe d'un grand modèle de langage et d'une reconstruction 3D basée sur des approches neurales pour permettre à un robot de naviguer dans son environnement selon des instructions fournies en langage naturel.

**Durée du contrat (en mois)**:

- 5 à 6 mois

**Description de l'offre**:
**Contexte du stage**

Si la robotique autonome connaît actuellement de grandes avancées, les intelligences artificielles qui guident ces robots se limitent généralement à une planification à court terme, sur l’environnement immédiat du robot, et pour des domaines de requêtes prédéfinies. Pour aller vers plus de polyvalence, il est nécessaire de développer des Intelligences Artificielles (IA) capable de planifier, sur la base d’une requête en langage naturel, une série d’actions sur des horizons temporels lointain, impliquant des lieux ou des éléments qu’ils ont observés par le passé mais qui sont hors du champ de perception actuel du robot.**Objectifs du stage**
- Dans le cadre de ce stage, nous proposons d’étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L’étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d’actions, ainsi qu’une représentation neurale 3D sémantisée de la scène et d’outils d’analyse de cette dernière pour connecter le LLM au monde réel.
En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA.
L’étudiant aura pour charge de:
- Prendre en main les représentations neurales 3D développées au laboratoire LVML et mettre en place les outils d’analyse adaptés à la tâche de navigation (recherche de la destination, détection des obstacles...)..
- Mettre en place un LLM en mode REACT pour analyser la requête utilisateur, réaliser la planification de tâches de navigation et invoquer les outils nécessaires (analyse de scène 3D, calcul et suivi de trajectoire...).
- Tester et évaluer la méthode dans un simulateur (eg. Habitat).
- Mettre en place le démonstrateur sur une plateforme robotique réelle (intégration des algorithmes de localisation, de contrôle-commande, etc., dans le framework robotique ROS).
- [1] Volumetric Environment Representation for Vision-Language Navigation. CVPR 2024- [2] Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. CVPR 2024- [3] Vision-and-language navigation: A survey of tasks, methods, and future directions; Arxiv 2022**Rejoignez-nous en Stage **
- CEA Tech Corporate from CEA Tech on Vimeo.- En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche renommé. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des ressources de premier ordre pour mener à bien vos missions.**Qu’attendons-nous de vous ?**
- Vous préparez un diplôme de niveau Master 2, devra disposer de connaissance en IA et en robotique, ainsi qu’une bonne maîtrise de python. Une expérience sur Pytorch et/ou ROS sera appréciée.**Que pouvez-vous espérer du stage**
- Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ouvert...), du contrôle robotique, et des modèles de langage. L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, NeRFStudion...). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants et de découvrir le métier de la recherche.**Informations générales**
- Formation / Niveau d’étude : Ingénieur, Master 2 / Bac+5
Possibilité poursuite : Oui, en thèse ou CDD selon profil.
- Durée : 6 mois
- Lieu : Palaiseau (91) - Centre d’intégration de Nano-INNOV
- Indemnités de stage : 1400 € / Aide au logement / transport / restauration.

**Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles **

**Vous avez encore un doute ? Nous vous proposons**:

- L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
- Un

  • Exploitation D'un Grand Modèle de Langage Et D'une

    Il y a 4 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation d'un grand modèle de langage et d'une reconstruction 3D neurale sémantique pour la navi H/F **Sujet de stage**: - Dans le cadre de ce stage, nous proposons d'étudier le domaine du Vision-Language Navigation [1,2,3], domaine...

  • Stage - Deep-learning Models for 3D Lidar Data

    il y a 1 mois

    Palaiseau, France TotalEnergies Temps plein

    **Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-LE NEXT(FRA) **Domaine** Recherche Innovation&Développt **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** **Activités** En tant que stagiaire Deep-Learning models for 3D Lidar data reconstruction H/F,...

  • Graph Neural Networks Pour Le Réseau de Transport

    Il y a 4 mois

    Palaiseau, France École polytechnique Temps plein

    **Graph Neural Networks pour le réseau de transport maritime // Graph Neural Networks for the Maritime Transportation Network**: - Réf **ABG-125948** **ADUM-58895** - Sujet de Thèse- 24/09/2024- Cifre- École polytechnique- Lieu de travail- Palaiseau Cedex - France- Intitulé du sujet- Graph Neural Networks pour le réseau de transport maritime // Graph...

  • Deep Learning Methods to Improve 3D Gaussian

    Il y a 3 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Deep Learning methods to improve 3D Gaussian Splatting training H/F **Sujet de stage**: [1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view...

  • Label Efficient 3D Detection with Foundation Models

    Il y a 4 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Label Efficient 3D Detection with Foundation Models H/F **Sujet de stage**: - In this internship, you will contribute to breakthrough research in areas critical to autonomous driving, robotics, and augmented reality....

  • Rendu Gaussien Basé Sur Le Ray Tracing Pour Les

    Il y a 4 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Rendu gaussien basé sur le ray tracing pour les réfractions et réflexions H/F **Sujet de stage**: - La reconstruction 3D photo-réaliste à partir d'un ensemble d'images a connu des avancées majeures avec l'apparition des NeRF [1]....

  • Synthèse de Fonds Texturés Par Modèles de

    Il y a 3 mois

    Palaiseau, France ONERA - The French Aerospace Lab Temps plein

    **Synthèse de fonds texturés par modèles de diffusion**: - Réf **ABG-126241** - Stage master 2 / Ingénieur- Durée 5 mois- Salaire net mensuel 1000- 11/10/2024- ONERA - The French Aerospace Lab- Lieu de travail- palaiseau Ile-de-France France- Champs scientifiques- Mathématiques- 01/01/2025**Établissement recruteur**: **Site web**: L'ONERA (Office...

  • Technical 3D Anatomy Artist

    il y a 1 mois

    Palaiseau, France PGU MEDTEC Temps plein

    Qui sommes nous? PGU MEDTEC conçois des humains virtuels 3D ultra-réalistes, tant au niveau de leur motricité que de leur apparence (biomécanique du système musculosquelettique, de la peau, des graisses, des muscles et de leurs tendons, des ligaments), pour l'orthopédie en condition limite (spatial, défense, sport, training médical). Ses membres...

  • Technical 3D Anatomy Artist

    il y a 1 mois

    Palaiseau, France PGU MEDTEC Temps plein

    Qui sommes nous? PGU MEDTEC conçois des humains virtuels 3D ultra-réalistes, tant au niveau de leur motricité que de leur apparence (biomécanique du système musculosquelettique, de la peau, des graisses, des muscles et de leurs tendons, des ligaments), pour l'orthopédie en condition limite (spatial, défense, sport, training médical). Ses membres...

  • STAGE - IngnieurTopographe - SIG 3D

    il y a 4 semaines

    Palaiseau, France Socotec Temps plein

    SOCOTEC Monitoring France est spcialise dans linstrumentation et lauscultation des ouvrages de gnie civil.Les donnes mises par les capteurs sont traites et visualises sur une plateforme en ligne.Cette plateforme doit tre capable de restituer des donnes 3D gorfrences.Lutilisation dun outil de type SIG 3D permet de rpondre ce besoin.Problmatique du sujetDe...

  • Alternance Designer/concepteur Anatomiste 3D

    il y a 5 jours

    Palaiseau, France PGU MEDTEC Temps plein

    **Profil recherché** ISSU DE FORMATION EN GAME DESIGN / WEP APP / INGENIERIE / MOTION DESIGNER: - Vous maitrisez les bases de la conception de caractères en 3D sur Blender, Unreal/Unity, MakeHuman ainsi que les bases de l'Ui/Ux design sur Photoshop, Invision, Figma... (liste n'est pas exhaustive). - Vous possédez également les bases de la programmation...

  • Ingénieur en Sécurité des Modèles Linguistiques

    il y a 4 semaines

    Palaiseau, Île-de-France THALES Temps plein

    THALES recherche un Ingénieur en Sécurité des Modèles Linguistiques pour rejoindre son équipe de chercheurs à Palaiseau. Ce poste consiste à développer des solutions pour améliorer la sécurité des modèles linguistiques, notamment contre les attaques par injection indirecte de « prompt ». Vous travaillerez sur l'analyse et la mise en œuvre de...

  • Stage Generalisation de La Modelisation Rlcg de

    Il y a 3 mois

    Palaiseau, France EDF Temps plein

    Mise en ligne le 19/10/2024 Principales caractéristiques de l'offre d'emploi - Type de contrat: - Stage - Niveau de formation: - BAC +4 / BAC +5 - Spécialité(s): - Ingénierie / Expertise / Recherche - Pays / Région: - France / Ile-de-France - Département: - Essonne (91) - Ville: - 7 bOULEVARD GASPARD MONGE 91120 - EDF est labellisé Happy...

  • STAGE – Ingénieur en Sécurité des modèles génératifs de langage

    il y a 1 mois

    Palaiseau, France THALES Temps plein

    QUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...

  • Concevoir des Humains Virtuels Ultraréalistes

    il y a 4 semaines

    Palaiseau, Île-de-France PGU MEDTEC Temps plein

    Profil du StagiaireNous recherchons un stagiaire passionné par la modélisation 3D humaine et l'ultramobilité en orthopédie discrète. Le candidat idéal possède une formation en art numérique, modélisation 3D d'humains ou sciences des technologies avancées pour la chirurgie.Compétences RequisesConnaissance approfondie de l'anatomie humaineMaîtrise...

  • Object Detection By Parametrization Using

    Il y a 4 mois

    Palaiseau, France CEA Temps plein

    Position description **Category**: - Mathematics, information, scientific, software **Contract**: - Internship **Job title**: - Object detection by parametrization using elementary 3D shapes H/F **Subject**: - Developing an object detector in images that can be parametrized with a 3D prompt made of an orchestration of elementary shapes. This detector...

  • Conception de Personnages Virtuels Avancés en Orthopédie

    il y a 2 semaines

    Palaiseau, Île-de-France PGU MEDTEC Temps plein

    PresentationPGU MEDTEC est une entreprise qui conçoit des humains virtuels 3D ultra-réalistes pour l'orthopédie en condition limite. Ses membres fondateurs sont issus de filières scientifiques liées à l'innovation technologique en santé.Nous proposons un stage de recherche et modélisation 3D pour l'ultramobilité qui a pour objectif l'implémentation...

  • Stage Modelisation Thermique Des Turbo-alternateurs

    Il y a 3 mois

    Palaiseau, France EDF Temps plein

    Mise en ligne le 15/10/2024 Principales caractéristiques de l'offre d'emploi - Type de contrat: - Stage - Niveau de formation: - BAC +4 / BAC +5 - Spécialité(s): - Ingénierie / Expertise / Recherche - Pays / Région: - France / Ile-de-France - Département: - Essonne (91) - Ville: - 7 bOULEVARD GASPARD MONGE 91120 - EDF est labellisé Happy...

  • Multi-view Re-identification of Objects and

    Il y a 4 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Multi-view re-identification of objects and individuals based on 3D representation H/F **Sujet de stage**: - Multi-view re-identification of objects and individuals based on 3D representation **Durée du contrat (en mois)**: - [6 mois] **Description de...

  • Understanding The Multisensory Integration Process

    Il y a 3 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Recherche biomédicale, clinique, préclinique **Contrat**: - Stage **Intitulé de l'offre**: - Understanding the Multisensory integration process through whole brain network modelling H/F **Sujet de stage**: - Understanding the Multisensory integration process through whole brain network modelling. **Durée du...