Compréhension de Scène par des Llms à Partir d'Openusd pour la Robotique H/F
il y a 6 jours
Rejoignez-nous en Stage CEA Tech Corporate from CEA Tech on Vimeo. En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Description du poste : Contexte La compréhension de l'environnement est essentielle pour les systèmes robotiques. Les robots ont besoin d'informations fiables sur les objets, les espaces et leurs relations pour agir efficacement. Les grands modèles de langue (LLM) sont de plus en plus utilisés comme couches d'orchestration en robotique. Leur raisonnement s'améliore lorsqu'ils reçoivent des représentations de scènes structurées et informatives. Des travaux récents ont montré que les LLM bénéficient fortement des 3D Scene Graphs(3DSG). Les 3DSG fournissent une structure explicite et claire de l'environnement (objets, relations, sémantique), que les LLM peuvent exploiter pour réaliser un raisonnement et une planification plus précis. Universal Scene Description (USD) devient également central en robotique et dans les systèmes de jumeaux numériques, car il fournit une représentation riche des scènes 3D. Cependant, dans le contexte des LLM, USD est généralement utilisé uniquement comme texte brut. Sous cette forme, il contient une grande quantité d'informations bas niveau ou peu pertinentes, ce qui rend difficile pour les LLM d'identifier la structure réellement utile de la scène. Cela met en évidence un manque dans la littérature actuelle :Comment transformer ou structurer les descriptions de scènes USD pour que les LLM puissent les exploiter efficacement ? Objectifs du stage - Explorer la littérature existante sur les représentations de scènes pour la robotique, en particulier les approches basées sur les 3D Scene Graphs (3DSG), et étudier les méthodes utilisées pour améliorer le raisonnement des LLM sur des données 3D structurées. - Étudier comment simplifier et organiser les scènes USD pour fournir aux LLM des informations plus claires et plus faciles à utiliser. - Concevoir et implémenter différents traitements des scènes USD (en supprimant les éléments inutiles, en regroupant les objets importants ou en construisant un graphe de connaissances) et évaluer l'impact de ces transformations sur les performances des LLM à l'aide. - Développer un agent IA capable de comprendre une scène et d'appeler des outils externes pour récupérer des informations structurées ou interagir avec un système robotique. - La publication de résultats scientifiques est fortement encouragée. - Selon l'avancement, le/la stagiaire aura également la possibilité de tester ses travaux sur des plateformes robotiques réelles. #CEA-List
-
Palaiseau, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Palaiseau, France Cea Temps pleinRejoignez-nous enStage ! CEA Tech Corporate from CEA Tech on Vimeo. En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnementde recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des...
-
Palaiseau, France Thales - CortAIx Factory (AI by Thales) Temps pleinLieu : Palaiseau, FranceConstruisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et...
-
Palaiseau, France Thales - CortAIx Factory (AI by Thales) Temps pleinLieu : Palaiseau, FranceConstruisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et...
-
Exploitation D'un Grand Modèle de Langage Et D'une
il y a 1 semaine
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation d'un grand modèle de langage et d'une reconstruction 3D neurale sémantique pour la navi H/F **Sujet de stage**: - Dans le cadre de ce stage, nous proposons d'étudier le domaine du Vision-Language Navigation [1,2,3], domaine...
-
Palaiseau, France IRT SystemX Temps plein**Contexte du stage**: Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs...
-
Outil de supervision robotique H/F
il y a 5 jours
Palaiseau, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Palaiseau, France Thales - CortAIx Factory (AI by Thales) Temps pleinLieu : Palaiseau, FranceConstruisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l’environnement et...
-
STAGE - Ingénieur en IA générative - Vision - Lang H/F (Stage)
il y a 2 semaines
Palaiseau, France THALES Temps pleinChez Thales, nous sommes fiers de travailler ensemble pour imaginer des solutions innovantes qui contribuent à construire un avenir plus sûr, plus vert et plus inclusif. Un avenir de confiance. Mais ces technologies ne viennent pas de nulle part. L'intelligence humaine est le moteur derrière la technologie qui fait la renommée de Thales. Les projets que...
-
Formateur Robotique
il y a 2 semaines
Palaiseau, France FED France Temps plein**Malick consultant FED Engineering recherche pour son client, grand groupe spécialisé dans la fabrication de machines et d’équipements industriels, un Formateur Technique en Robotique F/H en CDI basé au siège à proximité de Palaiseau (91).** **Votre fonction**: Dans sa position d’expert technique, le Formateur Robotique anime au siège des...
