Emplois actuels liés à Alignement de representation avec les humains des modeles vision-langage-action pour les taches hierarchiques - Palaiseau - École nationale supérieure de techniques avancées


  • Palaiseau, France École nationale supérieure de techniques avancées Temps plein

    Topic description Alors que les avancées des modeles vision langage impactent la robotique car ils sont exploités pour la planification des taches compositionnelles, ils butent contre le manque d'incarnation des actions physiques des LLMs et de leur mauvais capacité pour la planification long-terme afin d'accomplir des taches compositionnelles. Une autre...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F **Sujet de stage**: - A la frontière de l'intelligence artificielle et de la robotique, vous travaillerez sur l'exploitation conjointe d'un grand modèle de langage et...


  • Palaiseau, France Adecco Temps plein

    Adecco Tech & Ingénierie est la marque du Groupe Adecco spécialisée dans le recrutement (intérim – CDD – CDI) de profils IT, Ingénierie et Scientifique.Nous recrutons en Intérim pour notre client à Palaiseau un Ingénieur H/F. Poste à pourvoir dès que possible pour une durée de 4 mois .Vos missions :Étendre la norme PVCollada pour y intégrer...

  • Software Engineer

    il y a 2 semaines


    Palaiseau, France Bureau des Talents Temps plein

    **Le Bureau des Talents** est un cabinet de recrutement spécialisé dans la chasse, l’accompagnement et le coaching des talents pour les startups, les scale-ups et les entreprises à impact. - Notre client est une startup très prometteuse qui se concentre sur la qualité de fabrication en utilisant des solutions de **vision par ordinateur basées sur...


  • Palaiseau, France Conseil départemental de l'Essonne Temps plein

    Informations générales Référence de l'offre: 3582 Type de contrat: Emploi permanent Lieu de travail: PALAISEAU Vos missions La Direction générale adjointe territoires et mobilités (DGATM) assure la mise en œuvre des politiques publiques départementales qui concourent à l’aménagement et à la dynamisation du territoire, et à positionner le...


  • Palaiseau, Île-de-France CEA Temps plein

    Informations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...


  • Palaiseau, France JobiJoba FR S2 Temps plein

    Activités En tant que stagiaireInterventions dans les Modèles Causaux Structurés H/F, vos missions seront : * Analyse de l'article fondamental : Comprendre en profondeur l'article qui sous-tend notre méthode et effectuer une recherche bibliographique sur la littérature existante. * Développement de code : Rédiger du code en Python et R pour étendre...

  • Software Engineer

    il y a 4 jours


    Palaiseau, France Bureau des Talents Temps plein

    Descriptif du poste Les défis que nous relevons sont stimulants et diversifiés.- D'abord, nous développons des interfaces et fonctionnalités accessibles pour permettre aux non-experts, tels que les opérateurs et les techniciens, d'exploiter l'intelligence artificielle de façon intuitive. Cela leur permet d'automatiser les tâches répétitives et...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - CDD **Intitulé de l'offre**: - Utilisation LLMs pour la spécification des politiques de partage des données - CDD - Paris-Saclay F/H **Statut du poste**: - Cadre **Durée du contrat (en mois)**: - 36 **Description de l'offre**: **_« Rejoignez le CEA pour donner du...


  • Palaiseau, France EDF Temps plein

    Mise en ligne le 2025-09-30 Type de contrat : Stage Niveau de formation : BAC +4 / BAC +5 Spécialité(s) : Ingénierie / Expertise / Recherche Pays / Région : France / Ile-de-France Département : Essonne (91) Ville : 7 Boulevard Gaspard Monge 91120 Palaiseau **Description de l'offre**: Contexte général: La détection précoce des défauts dans les...

Alignement de representation avec les humains des modeles vision-langage-action pour les taches hierarchiques

il y a 1 heure


Palaiseau, France École nationale supérieure de techniques avancées Temps plein

Topic description Alors que les avancées des modeles vision langage impactent la robotique car ils sont exploités pour la planification des taches compositionnelles, ils butent contre le manque d'incarnation des actions physiques des LLMs et de leur mauvais capacité pour la planification long-terme afin d'accomplir des taches compositionnelles. Une autre limitation des modeles de fondation est le manque en robotique de bases de données massives pour l'apprentissage d'action incarnée multi-taches. De plus, plus la complexité des taches augmente, plus la taille des bases de données doit augmenter, exponentiellement. En fait, en apprentissage non-fini, l'ensemble des taches et les changement d'environnement, par définition, rendent impossible l'apprentissage d'une base de donnée pré-définie, aussi grande soit-elle. Dans cette thèse theorique, en adoptant la perspective de l'apprentissage continu, nous proposons de nous attaquer à la limitation des bases de données prédéfinies avec les mécanismes d'apprentissage bio-inspirés : - l'apprentissage par renforcement par motivation intrinsèque pour collecter des données de manière efficace - l'apprentissage hiérarchique pour mettre à profit l'apprentissage par transfert à partir de taches simples pour construire des taches de plus en plus complexes - l'apprentissage par imitation actif pour exploiter l'expertise humaine, en particulier les compositions haut niveau de taches. Cette thèse a pour but d'apporter les bases theoriques pour aligner aux representations des humains, des modeles de fondation robotique multi-modales adaptatif de tache en incorporant la proprioception, la vision, le langage et l'apprentissage auto-supervisé, permettant aux robots de généraliser des taches primitives pour améliorer en taches compositionnelles, pour l'apprentissage non-fini dans in environnement incarné.------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------While robots are expected to carry out complex tasks in the embodied [Varela et al. ] open-ended environment [Doncieux et al. ], the state of the art in robotics can not yet generalise from primitive tasks to solve tasks higher in complexity, and results show only success for a limited number of tasks. While the breakthrough of Vision Language Models (VLMs) impact robotics as they are harvested to give task planning for compositional tasks, they are challenged with the lack of grounding of physical actions of LLMs and the poor capabilities for long-term planning for long-horizon tasks. Another limitation of foundation models is the lack in robotics of a large dataset for multi-task embodied action learning. Moreover, as the complexity of tasks grows, the need for very large datasets grows. Actually, in open-ended learning, the set of tasks and the environment changes by definition make it impossible to learn from a pre-defined dataset, however large it may be. In this theoretical thesis, adopting the continual learning perspective, we propose to tackle the limitation of predefined datasets with bio-inspired learning mechanisms : • intrinsically-motivated reinforcement learning to collect efficiently data and learn from scarce data • hierarchical learning to leverage transfer learning from simple tasks to build more complex tasks • active imitation learning to harness human expertise, especially for high-level task composition. This thesis aims to study the theoretical bases to align with human representation, multi-modal, task-adaptive robotic foundation models by incorporating proprioception, vision, language and self-supervised learning, allowing robots to generalize from primitive tasks to upscale to complex tasks, for open-ended learning in an embodied environment.------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Début de la thèse : 01/10/ Funding category Public funding alone (i.e. government, region, European, international organization research grant) Funding further details Allocation doctorale AMX*Concours IPP ou école membre*Concours pour un contrat doctoral*Financement CSC*