Thèse : Identification d’indicateurs de charge mentale via apprentissage automatique multimodal ( H/F)

Pratiquer l’innovation, choisir un tremplin professionnel, inventer des technologies qui ont du sens, contribuer à des projets de recherche qui n’existent nulle part ailleurs, travailler avec plus d’autonomie, plus de responsabilités, bénéficier d’une diversité sous toutes ses formes, intégrer une communauté de personnalités bienveillantes, curieuses, expertes et enthousiastes : b com est, selon les mots de ses collaborateurs, une entreprise où il fait bon innover. Alors n’attendez plus, soyez là où les autres ne sont pas encore

#IA #état cognitif #traitement du signal #multimodalité #personnalisation #temps réel

Objectifs et démarche de recherche:

Alors que les technologies immersives, notamment les systèmes de formation en réalité virtuelle (RV), continuent de se développer, le besoin de mesurer quantitativement et précisément les comportements et la charge de travail des utilisateurs reste un défi majeur à relever pour optimiser l’efficacité et l’expérience utilisateur de ces systèmes. C’est le cas notamment dans des domaines d’applications tels que la remédiation cognitive grâce à la Réalité Virtuelle dans le domaine médical, ou encore dans des domaines industriels complexes (conduite ou maintenance dans le domaine nucléaire, monitoring opérateur dans le secteur de la défense, etc.).
Cette recherche a pour objectif de travailler sur l’identification automatique d’indicateurs de la charge mentale des utilisateurs d’un système via un apprentissage automatique multimodal.

Le résultat d’une telle recherche pourrait être par exemple un outil capable de prédire certaines dimensions d’un questionnaire de type NASA-TLX que renseignerait un utilisateur après une session d’interaction.

Plusieurs aspects doivent être abordés :
• La multimodalité : Quels capteurs sont les plus pertinents ? Comment les fusionner ? Un eye tracker peut-il compléter un capteur électrodermal pour évaluer l’état de stress d’un utilisateur ? Pour répondre à ces questions, il faut procéder à des tests, des mesures de précisions et de corrélations entre les variables, des évaluations des évaluations de la généricité des algorithmes. Une des difficultés à considérer est la différence de dynamique temporelle entre les différentes modalités.
• Le recueil de données : Ce travail nécessite de définir des tâches à réaliser qui soit représentatives de celles visées par le projet. Il faudra également utiliser l’ensemble des moyens de captation à disposition du laboratoire (caméra, capteurs physio, eye tracker, ..) et mettre en place un ou des environnements en réalité virtuelle permettant le recueil des données. Enfin, il faudra procéder au recueil lui-même avec de nombreux participants. Chaque participant devra également répondre à des questionnaires (type NASA TLX) afin d’annoter les données. Il n’est pas exclu d’introduire des questions à des moments précis de l’expérimentation pour obtenir un relevé de la dynamique des données subjectives.
• L’apprentissage : Outre la nécessité de procéder à un nettoyage (bruits, outliers) des données, les données physiologiques varient beaucoup en fonction de la tâche et de l'utilisateur. Pour contourner ce problème une phase d'enregistrement au repos est habituellement faite afin de normaliser les données. Cependant, cela n'est pas suffisant pour refléter la diversité des spécificités inter-individuelles. Nous proposons de pallier ce problème en soumettant à chaque utilisateur des taches courtes ciblant différentes sous-dimensions du NASA-TLX. Ensuite, l’apprentissage peut s’appuyer sur de nombreux modèles. Un point important est celui de l’encodage le plus pertinent possible de ces données. Par exemple, la conversion de données temporelles en images suivi d’architectures neuronales dédiées à la reconnaissance d’images (réseaux convolutionnels) est un moyen qui a déjà donné de bons résultats dans le domaine de la reconnaissance d’activité. Des architectures plus récentes (par exemple les transformers) seront également envisagées. D’autres options de la littérature pourront être également évaluées telles que l’auto supervision.
• Test en temps-réel : Une fois les capteurs pertinents sélectionnés et après l’obtention de quelques modèles susceptibles de reconnaitre les données subjectives, la chaine de traitement sera mise en œuvre en temps réel. Il n’est pas rare que des algorithmes d’apprentissage donnent de très bons résultats sur des données nettoyées et ne passent pas l’étape de la mise en place sur de nouvelles données réelles. Un temps important peut-être nécessaire pour mettre au point un tel passage avec un filtrage en temps réel des données et un ajustement de l’algorithme de reconnaissance pour prendre en compte la variabilité de la situation de captation de test par rapport aux captations initiales. Il faudra donc porter une grande importance aux conditions de tests de l’approche avant le recueil de données pour faire en sorte que ce dernier soit fait dans des conditions les plus proches possibles de celles des tests.
• L’optimisation énergétique et IA sobre. Un objectif secondaire sera de trouver un équilibre entre performance des architectures et coût énergétique résultant. Ceci demande une révision de la notion de performance de l’IA en général (ratio performance/cout plutôt que performance pure, prise en compte du cout du stockage, etc.). Les données de ce projet seront l’occasion de faire une première tentative de cette révision. L’architecture des modèles et surtout la définition de cette architecture en fonction de ce nouvel objectif est une problématique qui sera explorée. Que ce soit en se basant sur les travaux en NAS (Neural Architecture Search) ou à l’aide d’autres techniques innovantes de construction d’architecture tel que la neurogenèse. L’objectif est de pouvoir passer d’un problème donné à une architecture la plus optimale possible de façon automatique, sans commencer l’apprentissage effectif des données concernées. Cette partie ne pourra être traitée qu’une fois les données récoltées, donc pas en début de projet.

Quel sera votre environnement ?

Les travaux de thèse s’appuieront sur la plateforme de captation comportementale en réalité mixte développée par le laboratoire Technologies Facteurs Humains de b com.
La thèse se déroulera principalement sur le Campus de Brest de b com, avec des possibilités de déplacements sur le Campus de Rennes.

Quel profil ?

Ingénieur/M2 en informatique, data science, développement logiciel.

- Bonnes connaissances en Machine Learning, Deep Learning, traitement du signal,

- Maîtrise de plusieurs outils associés tels Python, R, C++, que vous avez su mettre en application lors d’expériences projets.

- Capacités d’analyse et de synthèse, ainsi que d’excellentes qualités rédactionnelles

- Une connaissance du traitement des données physiologiques et comportementales peut être un plus.
- Vous saurez contribuer avec réussite à la valorisation scientifique et technique de vos résultats, ainsi qu’à leur intégration aux cas d’usages du projet.

Quelles modalités ?

• Prise de fonction : Idéalement premier trimestre
• Entreprise : b com, Campus de Brest, 25 rue Claude Chappe, Plouzané, France
• Directeur de thèse : Pierre De Loor, ENIB, Centre Européen de Réalité Virtuelle
• Ecole doctorale : MathSTIC (discipline Informatique)
• Contrat : COD de 3ans
• 2 jours de télétravail libre par semaine (ou 4 demi-journées)
• Tickets/carte restaurant, mutuelle familiale, RTTContact

Les prochaines étapes ?

2 entretiens :
# 1 entretien en visio manager + RH
# 1 entretien final sur site manager + RH (approfondissement et découverte de l’environnement de travail)

Pour en savoir plus :

Contact
Pour en savoir plus :