Stage traitement de signal/IA

Fusion Vision RGB + Wi-Fi CSI pour Détection Robuste de Chutes

Description

Ce stage s'inscrit dans un projet visant à concevoir un système multimodal (vision + Wi-Fi CSI) pour la détection robuste de chutes à domicile. L'objectif est d'obtenir une sensibilité et une précision supérieures aux solutions mono-modales, d'assurer la tolérance aux défaillances capteurs et de localiser précisément l'événement dans la pièce pour faciliter les interventions.

Objectifs scientifiques

• Détection fiable de chutes : Obtenir une sensibilité très élevée et peu de faux positifs grâce à la fusion multimodale (vision + CSI).
• Tolérance aux défaillances : Assurer un fonctionnement dégradé contrôlé si un capteur manque ou devient bruyant (dropout, score de confiance).
• Fusion cross-modale : Concevoir une architecture combinant fusion au niveau des caractéristiques et des décisions, avec attention cross-modal pour exploiter au mieux chaque source.
• Localisation de l'événement : Estimer la position 2D de la chute dans la pièce en combinant informations vision et CSI.
• Validation réaliste : Tester la solution sur un dataset représentatif (variations d'éclairage, occlusions, bruit CSI) et mesurer robustesse et précision.

Tâches principales :

• Revue bibliographique & spécifications : Synthèse des approches existantes, définition des scénarios, métriques et exigences expérimentales.
• Acquisition & constitution du dataset : Enregistrement synchronisé RGB + RGB-D/vidéo et CSI, annotation des événements et conditions variées.
• Prétraitement multimodal : Nettoyage, synchronisation temporelle, calibration spatial/temporal et extraction de features (frames, keypoints, amplitude/phase CSI).
• Conception du modèle RMFD (Robust Multi-modal Fall Detector) : Architecture de fusion (précoce/tardive) incluant modules d'attention et de temporalité.
• Gestion des défaillances & scores de confiance : Mécanismes pour détecter et compenser capteurs dégradés, production d'un score de confiance pour chaque détection.
• Évaluation & validation : Tests quantitatifs (sensibilité, spécificité, FPR, localisation) et validation sur scénarios réalistes / études comparatives mono- vs multi-modales.
• Documentation & valorisation : Rédaction du rapport, code reproductible, protocole d'évaluation et livrables de démonstration.

Compétences et pré-requis :

• Compétences en computer vision (YOLO, MobileNet), deep learning (CNN, LSTM, TCN, attention).
• Connaissances en traitement du signal RF / Wi-Fi CSI (extraction amplitude/phase, filtrage).
• Maîtrise de PyTorch ou TensorFlow, Python, outils d'annotation et d'évaluation.
• Expérience pratique en acquisition de données, synchronisation temporelle et calibrage multi-capteurs.

Bibliographie :

• M. Karim, S. Imène and G. Aymen, "Real-Time Human Activity Recognition Using Wi-Fi CSI: A Deep CNN Architecture Approach," 2024 IEEE Thirteenth International Conference on Image Processing Theory, Tools and Applications (IPTA), Rabat, Morocco, 2024, pp. 1-6, doi: /IPTA
• A. Sabrina, B. Sarra and M. Khawla, "Visual-HAR: A Real-Time Human Activity Recognition Model Based on Visual Sensors," 2024 4th International Conference on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME), Male, Maldives, 2024, pp. 1-6, doi: /ICECCME
• R. R. Dokkar, F. Chaieb, H. Drira, and A. Aberkane, "ConViViT — A Deep Neural Network Combining Convolutions and Factorized Self-Attention for Human Activity Recognition," arXiv preprint arXiv: , 2023. doi: /arXiv
• Olfa Haggui, Hamza Bayd, Baptiste Magnier, Arezki Aberkane. Human Detection in Moving Fisheye Camera using an Improved YOLOv3 Framework. IEEE MMSP IEEE 23rd International Workshop on Multimedia Signal Processing, Oct 2021, Tampere, Finland. ff10.1109/mmsp ff. ffhal
• Varga, D. Critical Analysis of Data Leakage in WiFi CSI-Based Human Action Recognition Using CNNs. Sensors 2024, 24, 3159.

Type d'emploi : Stage

Durée du contrat : 6 mois

Rémunération : 4,35€ par heure

Nombre d'heures : 35 par semaine

Lieu du poste : En présentiel