H/F : Modification en temps réel des signaux sociaux en réalité augmentée à l'aide de modèles de diffus

Sujet de thèse :
Les lunettes intelligentes de réalité augmentée (RA) grand public permettront de plus en plus à l’IA de modifier la perception qu’a l’utilisateur du monde réel. Cela soulève une question encore largement inexplorée : la perception qu’a un utilisateur des signaux sociaux — en particulier des expressions faciales — peut-elle être délibérément modifiée en temps réel ? Les interactions sociales reposent sur ces signaux : les individus interprètent en permanence les états émotionnels de leurs interlocuteurs pour en déduire leurs intentions, anticiper leurs réactions et orienter leur propre comportement. Cette thèse étudie comment ces signaux, tels qu’ils sont perçus par un utilisateur de lunettes de RA, peuvent être modifiés de manière délibérée et convaincante en temps réel à l’aide de modèles de diffusion.
Contexte :
Le Dr Sandor, directeur de thèse, dirige l’équipe ARAI (Réalité augmentée – Intelligence artificielle) au sein du département HCI du Laboratoire interdisciplinaire des sciences du numérique (LISN, UMR 9015) de l’Université Paris-Saclay/CNRS, qu’il a cofondé avec le Dr Nguyen en 2024. Ses recherches récentes sur la prédiction vidéo et sur la modification en temps réel des expressions faciales à l’aide de modèles de diffusion sont au cœur même de cette thèse.

Le Dr Nguyen, co-directrice de thèse, est la coordinatrice scientifique de NeuroCoRe et codirige ce projet de doctorat avec le Dr Sandor. Son expertise en réalité étendue (XR) collaborative — à distance et en présentiel — ainsi qu’en plateformes immersives hybrides est essentielle pour les aspects multi-utilisateurs et liés à l’expérience utilisateur de la thèse.

La thèse s’inscrit au sein du consortium NeuroCoRe (PEPR eNSEMBLE) : réalité étendue collaborative et IA générative (LISN), neurosciences et sciences de la décision (CRNL), ainsi que vision par ordinateur, apprentissage automatique et psychiatrie des troubles borderline chez les adolescents (Centre Borelli). L’étudiante bénéficie de cet environnement interdisciplinaire, d’une infrastructure expérimentale partagée et d’un accès au calcul GPU haute performance à l’IDRIS (Jean-Zay). Le LISN est un acteur clé des projets français PEPR eNSEMBLE et CONTINUUM consacrés à l’avenir de la collaboration ; cette thèse offre une forte synergie avec ces derniers.