Stage M 2

Stage M 2 : Approches multimodales pour la gestion des informations manquantes dans l’analyse des états affectifs H/FCESI Quetigny, Bourgogne-Franche-Comté, FranceJoin to apply for the Stage M 2 : Approches multimodales pour la gestion des informations manquantes dans l’analyse des états affectifs H/F role at CESIDescription de l'offre d'emploiIntégrer Linéact au sein de CESI pour un stage de recherche serait une formidable opportunité de contribuer à des projets innovants, tout en approfondissant mes compétences dans un environnement à la pointe de la transformation numérique et de l’industrie 4.0.Projet de stageContexte scientifiqueL’analyse des états affectifs joue un rôle crucial dans la compréhension du comportement humain et l’amélioration des interactions entre les humains et les systèmes intelligents [1, 2, 3, 4, 5, 6]. Elle repose sur diverses modalités, telles que la voix, les expressions faciales, les gestes ainsi que les signaux physiologiques [7, 8, 9, 10]. Des recherches antérieures ont exploré chaque modalité séparément et ont montré leur complémentarité, soulignant l’intérêt de combiner les informations issues de chacune [11].L’étude des états affectifs dans des contextes réels constitue un défi majeur en raison de leur nature complexe et dynamique. Les bases de données multimodales existantes contiennent souvent des états induits dans des environnements contrôlés, ce qui ne reflète pas toujours l’expression naturelle des états affectifs. Cependant, dans des conditions réelles d’interaction, certaines modalités peuvent être manquantes ou dégradées. Par exemple, il peut arriver que le locuteur n’émette pas de parole tout en manifestant des expressions faciales, ou encore qu’il tourne la tête, ce qui entraîne une occultation partielle de son visage et une altération des informations visuelles disponibles. d’où l’intérêt de la multimodalité. Nos recherches précédentes ont confirmé cette complémentarité entre modalités et ont ouvert la voie à de nouvelles pistes pour une intégration plus robuste des différentes sources d’information. Ce projet de stage s’inscrit dans la continuité de ces travaux et vise à les faire évoluer. L’objectif de ce stage est de travailler sur des données multimodales variées et de développer des approches permettant de combiner efficacement plusieurs sources d’information, même lorsque certaines modalités sont manquantes.Objectifs du stageAvec l’essor des techniques d’apprentissage profond, il devient possible de concevoir des architectures adaptées pour l’analyse multimodale des états affectifs. Le stage consistera àexplorer et prétraiter des datasets multimodaux existants ;concevoir et entraîner des modèles d’apprentissage profond pour la détection des états affectifs, en modalité unique ou multimodale ;expérimenter différentes stratégies de fusion multimodale et de gestion des modalités manquantes ;évaluer les performances des modèles et analyser l’impact de la présence ou de l’absence de certaines modalités.Les travaux menés dans ce stage contribueront à l’avancement des méthodes robustes pour la reconnaissance des états affectifs à partir de données réelles et variées, avec des applications potentielles dans la santé, le bien‑être et les interactions homme‑machine.Pré-requis du posteCompétences scientifiques et techniquesBonne connaissance des méthodes d’apprentissage automatique et deep learningTrès bon niveau en programmation PythonMaîtrise des librairies PyTorch ou TensorFlow indispensableIntérêt pour le traitement multimodal et la gestion de données manquantesCompétences relationnellesEtre autonome, avoir un esprit d’initiative et de curiositéSavoir travailler en équipe et avoir un bon relationnelEtre rigoureuxCommuniquer efficacement avec son encadrantGratification à 15% du plafond horaire de la Sécurité SocialeDate de début : Février 2026Votre candidature doit comporterUn Curriculum‑VitaeUne lettre de motivation pour le sujetNotes du parcours (Licence ou autre) et du master en coursLettres de recommandation si disponiblesRéférencesAmine Bohi, Yassine El Boudouri et Imad Sfeir. « A novel deep learning approach for facial emotion recognition : application to detecting emotional responses in elderly individuals with Alzheimer’s disease ». In : Neural Computing and Applications (2024), p. 1-19.Yassine El Boudouri et Amine Bohi. « EmoNeXt : an Adapted ConvNeXt for Facial Emo‑tion Recognition ». In : 25th IEEE International Workshop on Multimedia Signal Processing. 2023.Varsha Devi, Amine Bohi et Pardeep Kumar. « AGCD‑Net : Attention Guided Context Debiasing Network for Emotion Recognition ». In : arXiv preprint arXiv :2507.09248 (2025).Aafaf Ridouan, Amine Bohi et Youssef Mourchid. « Improving pain classification using spatio‑temporal deep learning approaches with facial expressions ». In : Seventeenth Interna‑tional Conference on Machine Vision (ICMV 2024). T. 13517. SPIE. 2025, p. 82‑89.Ruhul Amin Khalil et al. « Speech emotion recognition using deep learning techniques : A review ». In : IEEE Access 7 (2019), p. 117327‑11734.Mohamed Ala Yahyaoui et al. « Multi‑Face Emotion Detection for Effective Human‑Robot Interaction ». In : Proceedings of the ICAART conférence. 2025.Leila Ben Letaifa, Amine Bohi et Rim Slama. « The CG‑MER Dyadic Multimodal Da‑taset for Spontaneous French Conversations : Annotation, Analysis and Assessment Bench‑mark ». In : Journal on Multimodal User Interfaces (2025). #J-18808-Ljbffr