Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F
il y a 3 semaines
Description de l'offre
Contexte du stage
Si la robotique autonome connaît actuellement de grandes avancées, les intelligences artificielles qui guident ces robots se limitent généralement à une planification à court terme, sur l’environnement immédiat du robot, et pour des domaines de requêtes prédéfinies. Pour aller vers plus de polyvalence, il est nécessaire de développer des Intelligences Artificielles (IA) capable de planifier, sur la base d’une requête en langage naturel, une série d’actions sur des horizons temporels lointain, impliquant des lieux ou des éléments qu’ils ont observés par le passé mais qui sont hors du champ de perception actuel du robot.
Objectifs du stage
Dans le cadre de ce stage, nous proposons d’étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L’étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d’actions, ainsi qu’une représentation neurale 3D sémantisée de la scène et d’outils d’analyse de cette dernière pour connecter le LLM au monde réel.
En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA.
L’étudiant aura pour charge de :
[1] Volumetric Environment Representation for Vision-Language Navigation. CVPR 2024
[2] Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. CVPR 2024
[3] Vision-and-language navigation: A survey of tasks, methods, and future directions; Arxiv 2022
Rejoignez-nous en Stage
CEA Tech Corporate from CEA Tech on Vimeo.
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche renommé . Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des ressources de premier ordre pour mener à bien vos missions.
Profil du candidat
Qu’attendons-nous de vous ?
Vous préparez un diplôme de niveau Master 2, devra disposer de connaissance en IA et en robotique, ainsi qu’une bonne maîtrise de python . Une expérience sur Pytorch et/ou ROS sera appréciée.
Que pouvez-vous espérer du stage
Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ), du contrôle robotique, et des modèles de langage. L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, ). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants et de découvrir le métier de la recherche.
Informations générales
Formation / Niveau d’étude : Ingénieur, Master 2 / Bac+5Possibilité poursuite : Oui, en thèse ou CDD selon profil. Durée : 6 mois Lieu : Palaiseau (91) – Centre d’intégration de Nano-INNOV Indemnités de stage : 1400 € / Aide au logement / transport / restauration.
Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles
Vous avez encore un doute ? Nous vous proposons :
L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique, Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels, Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel, Des moyens expérimentaux exceptionnels et un encadrement de qualité, De réelles opportunités de carrière à l’issue de votre stage Une participation aux transports en commun à hauteur de 85%, Un équilibre vie privée – vie professionnelle reconnu, Un restaurant d'entreprise, Une politique diversité et inclusion,Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.
-
Modèle de Langage Et Reconstruction 3D Neurale
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F **Sujet de stage**: - A la frontière de l'intelligence artificielle et de la robotique, vous travaillerez sur l'exploitation conjointe d'un grand modèle de langage et...
-
Exploitation D'un Grand Modèle de Langage Et D'une
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation d'un grand modèle de langage et d'une reconstruction 3D neurale sémantique pour la navi H/F **Sujet de stage**: - Dans le cadre de ce stage, nous proposons d'étudier le domaine du Vision-Language Navigation [1,2,3], domaine...
-
Vers Une Cartographie Active Pour La Navigation
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Vers une cartographie active pour la navigation robotique basée Neural Fields H/F **Sujet de stage**: - Conception d'un démonstrateur pour intégrer un module de reconstruction 3D basé NeRF sur une plateforme robotique mobile, d'évaluer...
-
Stage en Vision Par Ordinateur Et Deep Learning
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Stage en vision par ordinateur et deep learning H/F **Sujet de stage**: - Apprentissage profond pour l'interprétation de représentations 3D implicites **Durée du contrat (en mois)**: - 6 **Description de...
-
Stage en vision par ordinateur et deep learning H/F
il y a 3 semaines
Palaiseau, France CEA Temps pleinDescription de l'offre Contexte du stage Le développement de robots autonomes, qu’il s’agisse de robots terrestres comme volants, nécessite la mise en place d’intelligences artificielles (IA) capables d’interpréter l’environnement observé par ce dernier. Pour pouvoir raisonner au-delà du seul environnement observable par ses capteurs à...
-
Stage - Deep-learning Models for 3D Lidar Data
il y a 2 semaines
Palaiseau, France TotalEnergies Temps plein**Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-LE NEXT(FRA) **Domaine** Recherche Innovation&Développt **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** **Activités** En tant que stagiaire Deep-Learning models for 3D Lidar data reconstruction H/F,...
-
Neural Network Architect for Multiscale Brain Function Models
il y a 3 semaines
Palaiseau, Île-de-France INRIA Temps pleinJob DescriptionWe are seeking a highly skilled Neural Network Architect to contribute to the development of novel brain function models using large-scale imaging resources.Responsibilities:Design and implement multi-resolution dictionary learning strategies to identify core structures of brain networksDevelop adaptive models that can accommodate...
-
Graph Neural Networks Pour Le Réseau de Transport
Il y a 3 mois
Palaiseau, France École polytechnique Temps plein**Graph Neural Networks pour le réseau de transport maritime // Graph Neural Networks for the Maritime Transportation Network**: - Réf **ABG-125948** **ADUM-58895** - Sujet de Thèse- 24/09/2024- Cifre- École polytechnique- Lieu de travail- Palaiseau Cedex - France- Intitulé du sujet- Graph Neural Networks pour le réseau de transport maritime // Graph...
-
Deep Learning Methods to Improve 3D Gaussian
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Deep Learning methods to improve 3D Gaussian Splatting training H/F **Sujet de stage**: [1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view...
-
Label Efficient 3D Detection with Foundation Models
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Label Efficient 3D Detection with Foundation Models H/F **Sujet de stage**: - In this internship, you will contribute to breakthrough research in areas critical to autonomous driving, robotics, and augmented reality....
-
Deep Learning methods to improve 3D Gaussian Splatting training H/F
il y a 3 semaines
Palaiseau, France CEA Temps pleinDescription de l'offre Il existe toujours des problèmes de reconstruction dans certaines parties des images, notamment dues aux réflexions (surfaces brillantes, miroirs) et aux zones uniformes (murs lisses, sols unis). Ces environnements difficiles peuvent entraîner des artefacts ou des zones floues, dégradant la qualité visuelle du rendu final....
-
Rendu Gaussien Basé Sur Le Ray Tracing Pour Les
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Rendu gaussien basé sur le ray tracing pour les réfractions et réflexions H/F **Sujet de stage**: - La reconstruction 3D photo-réaliste à partir d'un ensemble d'images a connu des avancées majeures avec l'apparition des NeRF [1]....
-
Palaiseau, France CEA Temps pleinDescription de l'offre [Voir pièce jointe] Proposition de stage 2024-2025 Création d’un jeu de données pour la localisation sur des objets flexibles Contact : @ Contexte du stage Le CEA LVML a une longue expérience du recalage 3D d’objets rigides, de la détection d’anomalies, de la description d’images, de la reconstruction 3D, du...
-
Technical 3D Anatomy Artist
il y a 4 jours
Palaiseau, France PGU MEDTEC Temps pleinQui sommes nous? PGU MEDTEC conçois des humains virtuels 3D ultra-réalistes, tant au niveau de leur motricité que de leur apparence (biomécanique du système musculosquelettique, de la peau, des graisses, des muscles et de leurs tendons, des ligaments), pour l'orthopédie en condition limite (spatial, défense, sport, training médical). Ses membres...
-
Technical 3D Anatomy Artist
il y a 4 jours
Palaiseau, France PGU MEDTEC Temps pleinQui sommes nous? PGU MEDTEC conçois des humains virtuels 3D ultra-réalistes, tant au niveau de leur motricité que de leur apparence (biomécanique du système musculosquelettique, de la peau, des graisses, des muscles et de leurs tendons, des ligaments), pour l'orthopédie en condition limite (spatial, défense, sport, training médical). Ses membres...
-
Synthèse de Fonds Texturés Par Modèles de
Il y a 2 mois
Palaiseau, France ONERA - The French Aerospace Lab Temps plein**Synthèse de fonds texturés par modèles de diffusion**: - Réf **ABG-126241** - Stage master 2 / Ingénieur- Durée 5 mois- Salaire net mensuel 1000- 11/10/2024- ONERA - The French Aerospace Lab- Lieu de travail- palaiseau Ile-de-France France- Champs scientifiques- Mathématiques- 01/01/2025**Établissement recruteur**: **Site web**: L'ONERA (Office...
-
Formateur Robotique
Il y a 6 mois
Palaiseau, France FED France Temps plein**Malick consultant FED Engineering recherche pour son client, grand groupe spécialisé dans la fabrication de machines et d’équipements industriels, un Formateur Technique en Robotique F/H en CDI basé au siège à proximité de Palaiseau (91).** **Votre fonction**: Dans sa position d’expert technique, le Formateur Robotique anime au siège des...
-
STAGE - IngnieurTopographe - SIG 3D
il y a 2 jours
Palaiseau, France Socotec Temps pleinSOCOTEC Monitoring France est spcialise dans linstrumentation et lauscultation des ouvrages de gnie civil.Les donnes mises par les capteurs sont traites et visualises sur une plateforme en ligne.Cette plateforme doit tre capable de restituer des donnes 3D gorfrences.Lutilisation dun outil de type SIG 3D permet de rpondre ce besoin.Problmatique du sujetDe...
-
Palaiseau, France CEA Temps pleinDescription de l'offre Contexte Vous êtes spécialisé ou passionné de développement logiciel, de robotique ou de contrôle-commande ? Vous aimez résoudre des problèmes complexes et concrets ? Le Service de Robotique Interactive du CEA est spécialisé dans le domaine de l’interaction homme-robot, qui couvre notamment les domaines de la...
-
Stage en Vision Par Ordinateur Et Deep Leraning
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Stage en vision par ordinateur et deep leraning H/F **Sujet de stage**: - Localisation d'un robot mobile dans une carte LIDAR à partir d'une camera RGB **Durée du contrat (en mois)**: - 6 **Description de...
