Stage Traitement d'images/IA

HAR Multi-View par Vision RGB-D pour réhabilitation neurologique à domicile

Descriptiondustage:

Ce stage s'inscrit dans un projet visant à développer une solution de suivi et d'évaluation automatisée des exercices de rééducation neurologique à domicile (post-AVC, Parkinson, etc.) en s'appuyant sur plusieurs caméras RGB-D. L'objectif est de fournir des retours précis sur la qualité d'exécution des exercices (classification + scoring des erreurs/compensations) tout en restant robuste aux occlusions et aux variations de point de vue, pour faciliter le télé-suivi clinique et la personnalisation des programmes de rééducation.

Objectifs scientifiques

• Identifier les exercices : Concevoir un modèle capable de reconnaître 12–15 exercices de rééducation à partir de flux RGB-D.
• Évaluer la qualité d'exécution : Produire un score continu mesurant erreurs et compensations (amplitude, rythme, posture).
• Robustesse multi-vue : Développer une stratégie de fusion entre caméras qui reste fiable en présence d'occlusions et de changements de point de vue.
• Modélisation temporelle : Intégrer la dynamique des mouvements pour améliorer classification et scoring.
• Validation clinique : Tester la méthode sur des données patient réelles et vérifier sa pertinence pour le suivi à domicile.

Tâches principales :

• Revue bibliographique & définition du protocole : Synthèse des approches existantes et définition des exercices, métriques et conditions d'essai.
• Acquisition et préparation des données : Collecte RGB-D (multi-caméras), annotation et prétraitement (filtrage, synchronisation, anonymisation).
• Extraction par vue : Extraire représentations pertinentes par caméra (pose 2D/3D, keypoints, features visuels).
• Fusion multi-view & temporalité : Concevoir et implémenter le mécanisme de fusion (fusion précoce/tardive, attention, GCN/transformer temporel).
• Classification et scoring : Développer la tête multi-tâches qui produit à la fois l'étiquette d'exercice et le score de qualité.
• Évaluation & validation clinique : Mesurer performances (précision, rappel, erreur de scoring) et valider sur jeux de données patients / tests terrain.
• Documentation & diffusion : Rédiger rapport, code reproductible et matériel de présentation pour clinicians/partenaires.

Compétences et pré-requis :

• Solides connaissances en vision par ordinateur et deep learning (CNN, Transformers, GCN).
• Expérience pratique avec PyTorch ou TensorFlow.
• Connaissances en capture RGB-D, estimation de pose 3D (MediaPipe, OpenPose).
• Notions en éthique numérique & protection des données (anonymisation, consentement patients).

Bibliographie :

• A. Sabrina, B. Sarra and M. Khawla, "Visual-HAR: A Real-Time Human Activity Recognition Model Based on Visual Sensors," 2024 4th International Conference on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME), Male, Maldives, 2024, pp. 1-6, doi: /ICECCME
• R. R. Dokkar, F. Chaieb, H. Drira, and A. Aberkane, "ConViViT — A Deep Neural Network Combining Convolutions and Factorized Self-Attention for Human Activity Recognition," arXiv preprint arXiv: , 2023. doi: /arXiv
• Olfa Haggui, Hamza Bayd, Baptiste Magnier, Arezki Aberkane. Human Detection in Moving Fisheye Camera using an Improved YOLOv3 Framework. IEEE MMSP IEEE 23rd International Workshop on Multimedia Signal Processing, Oct 2021, Tampere, Finland. ff10.1109/mmsp ff. ffhal
• A novel multi‑modal rehabilitation monitoring over human motion intention recognition (HMIR) (Kamal et al., 2025)

Type d'emploi : Stage

Durée du contrat : 6 mois

Rémunération : 4,35€ par heure

Nombre d'heures : 35 par semaine

Lieu du poste : En présentiel