Stage M2 Traitement et modélisation des données de mouvement humain

Stage Master 2 Analyse et Modélisation du Mouvement Humain dans les Métiers de l’Artisanat Laboratoire: Centre de Robotique Institution Ecole des Mines, 60 Bvd Saint Michel, Paris Durée et dates 6 mois, dès que possible Financé par ReSource Projet PIA4 Encadrants Alina Glushkova, Sotiris Manitsaris Mots clés données de mouvement, traitement de signal, modélisation, analyse Contexte Dans le cadre du projet ReSource, le Centre de Robotique mène un programme de recherche visant à modéliser, analyser et transmettre les gestes experts issus de métiers d’art d’excellence (ganterie, sellerie nautique, maroquinerie, etc.). Ces gestes, transmis depuis des générations et associés aux grandes maisons françaises du luxe, constituent un patrimoine immatériel précieux, caractérisé par une grande finesse motrice et une expertise manuelle exceptionnelle. Pour les étudier, des artisans expérimentés et des apprenants ont été enregistrés dans plusieurs pilotes de l’industrie manufacturière avec un set up incluant des technologies multisensorielles permettant de récupérer des données multimodales: Vidéo (multi-vues), audio, biomécanique via des capteurs inertiels (accélérations, rotations etc.). Des annotations métier ont été également produites avec les formateurs. Ces données brutes, riches mais complexes, sont destinées à alimenter un jeu de données public hébergé par Mines Paris : https://www.caor.minesparis.psl.eu/human-motion-capture-benchmark/. Le/la stagiaire jouera un rôle central dans la préparation, la transformation, la modélisation et l’analyse avancée de ces données. Objectives Prise en main, traitement et structuration des données multimodales Exploration des données vidéo / audio / IMUs provenant de gestes experts et novices. Application de techniques de traitement du signal : filtrage (low-pass, Butterworth…), synchronisation, réduction de bruit. Segmentation temporelle et annotation semi-automatique des gestes. Utilisation d’outils comme Motion Builder pour la visualisation précise des trajectoires, et Adobe Premiere Pro pour l’analyse vidéo détaillée. Préparation des fichiers pour publication dans le benchmark open data du CAOR, conformément aux standards du laboratoire. Benchmarking de modèles de prédiction du mouvement Mettre en place un benchmark de modèles de prévision de mouvement humain (forecasting). Comparer différents modèles de l’état de l’art avec un focus particulier sur le modèle interne GOM – Gesture Operational Model (développé au laboratoire). Analyse avancée via la plateforme PosePilot Utilisation de PosePilot, un outil web développé au laboratoire, pour la visualisation 3D interactive de l’animation des squelettes. Calcul de métriques quantitatives interprétables (quantité de mouvement, variation posturale, diffusion posturale, vitesse, accélération…). Comparaisons inter/sujets, inter/tâches, novices vs experts. Génération de graphiques synchronisés avec la 3D, facilitant l’interprétation du mouvement. PosePilot offre une approche analytique, explicable, complémentaire à la modélisation IA. Livrables attendus L’implémentation de la pipeline complète pour la préparation et la segmentation des données multimodales. La mise en ligne des données au format standardisé du benchmark du laboratoire. Un rapport de benchmarking comparant plusieurs modèles de prédiction du mouvement. Une analyse approfondie des gestes artisanaux basée sur PosePilot : visualisations, métriques, comparaison novice/expert. Compétences requises Bases solides en traitement du signal (filtres, interpolation, segmentation). Connaissances en machine learning et manipulation de modèles temporels. Intérêt pour le mouvement humain, la biomécanique, la robotique ou l’IA interactive. Compétences analytiques et rigueur scientifique. Faculté à manipuler des données complexes. Connaissance en programmation (Python). Compétences qui seront développées Expertise rare en analyse du mouvement dans le contexte des métiers d’art et de l’artisanat d’excellence. Maîtrise de pipelines avancés de traitement de données multimodales. Compréhension approfondie des méthodes de prédiction du mouvement humain. Utilisation d’outils professionnels : Motion Builder, Adobe Premiere Pro, outils d’annotation multimodal. Utilisation avancée de l’interface PosePilot. Expérience directe d’un projet interdisciplinaire mêlant IA, biomécanique, apprentissage du geste, HCI et visualisation de données. Contribution à un jeu de données ouvert national, valorisable académiquement. Profil recherché Étudiant·e en Master 2 : Informatique, mathématiques appliquées, traitement du signal, robotique, bio-ingénierie ou domaines proches. Curieux·se, motivé·e, avec des qualités organisationnelles, appréciant les environnements interdisciplinaires. Un intérêt pour l’artisanat, la transmission du geste et/ou les données humaines est un plus. Références Le benchmark actuel: https://www.caor.minesparis.psl.eu/human-motion-capture-benchmark/ PosePilot: https://dimimakr.github.io/index5.html Olivas-Padilla, B. E., Glushkova, A., & Manitsaris, S. (2023). Motion capture benchmark of real industrial tasks and traditional crafts for human movement analysis. IEEE Access, 11, 40075-40092. Olivas-Padilla, B. E., Manitsaris, S., & Glushkova, A. (2024). Explainable AI in human motion: A comprehensive approach to analysis, modeling, and generation. Pattern Recognition, 151, 110418. Makrygiannis, D., Glushkova, A., Manitsaris, S., & Senteri, G. (2025, May). PosePilot—A Web-Based Application for Human Motion Data Analysis and Visualization. In 2025 IEEE 19th International Conference on Automatic Face and Gesture Recognition (FG) (pp. 1-1). IEEE. #J-18808-Ljbffr