Post-doctorant (F/H) Reinforcement Learning for Application-aware Self-adaptive Communication Protocols

**Type de contrat**: CDD

**Niveau de diplôme exigé**: Thèse ou équivalent

**Fonction**: Post-Doctorant

**A propos du centre ou de la direction fonctionnelle**:
Le centre Inria de Lyon est le 9ème centre de recherche Inria. Créé en janvier
2022, il regroupe environ 320 personnes au sein de 19 équipes de recherche et des
services supports à la recherche.
Ses équipes sont localisées à Villeurbanne, à Lyon Gerland, ainsi qu’à Saint
- Etienne.
Le centre de Lyon est présent dans les domaines du logiciel, du calcul distribué et
haute performance, des systèmes embarqués, du calcul quantique et de respect de
la vie privée dans le monde numérique, mais aussi de la santé et de la biologie
numériques.

**Contexte et atouts du poste**:

- Cette mission de post-doctorat s’inscrit dans le cadre du PEPR Réseaux du Futur, axe PC6 (_From IoT Breakthroughs to Network Enhanced Services_). Plus précisément, elle relève de la tâche « Solutions d’accès adaptatif pilotées par les données pour les réseaux denses », pilotée par l’équipe Inria Agora.

**Mission confiée**:
Les réseaux de capteurs sont une solution clé pour suivre différents phénomènes physiques (pollution de l’air, îlots de chaleur urbains, etc.). Ils se distinguent par leur flexibilité, leur précision dans le temps et l’espace, et leur capacité à s’auto-organiser [1].
Dans ce cadre, un enjeu scientifique majeur concerne la mise au point de protocoles de communication pilotés par les données applicatives. L’objectif est double : améliorer la couverture des phénomènes observés et optimiser le fonctionnement global du réseau.

Deux dimensions doivent être articulées:

- l’informativité des données, c’est-à-dire leur utilité réelle pour la tâche de suivi [2,3] ;
- les performances réseaux, notamment le taux de livraison des paquets.

L’apprentissage par renforcement [4] ouvre de nouvelles perspectives pour ce type de problématique. Il permet d’apprendre automatiquement les meilleures stratégies afin de maximiser une récompense cumulée. Déjà appliqué avec succès dans de nombreux domaines [5], il constitue une base prometteuse pour concevoir des modèles de communication intelligents.

L’objectif du post-doc est donc de développer et valider de nouveaux modèles de communication, orientés par les données applicatives et fondés sur l’apprentissage par renforcement. Ces modèles viseront à garantir à la fois : une transmission fiable des données, une forte informativité, une bonne couverture du phénomène à surveiller, une connectivité solide entre les nœuds capteurs et une consommation énergétique mínimale du réseau.

**Principales activités**:
Le travail commencera par la modélisation du problème sous l’angle de l’apprentissage par renforcement avec contraintes. Une version déterministe sera d’abord développée afin d’appliquer des méthodes exactes sur de petites instances. Cette étape permettra d’analyser en profondeur le comportement du système, de mieux comprendre les compromis entre informativité et performance réseau, et de disposer de solutions de référence solides pour les évaluations ultérieures.

Dans un second temps, l’objectif sera de concevoir et développer de nouvelles solutions d’apprentissage par renforcement capables de gérer des situations à grande échelle. Ces approches devront prendre en compte simultanément plusieurs objectifs, comme la couverture du phénomène, la connectivité entre capteurs ou encore la réduction de la consommation énergétique. Les performances de ces solutions seront comparées à celles des méthodes classiques, qu’elles soient exactes ou heuristiques, afin de bien mesurer leur valeur ajoutée.

Enfin, une part importante du travail concernera l’implémentation et l’évaluation des modèles proposés. Il s’agira de tester ces solutions à l’aide de métriques adaptées et de confronter leurs résultats aux approches de l’état de l’art. Cette phase expérimentale permettra d’identifier les atouts et limites de chaque méthode et de dégager des pistes claires pour améliorer la gestion et l’efficacité des réseaux de capteurs.

**Bibliographie**

[1] Ahmed Boubrima, Walid Bechkit, Hervé Rivano: Optimal WSN Deployment Models for Air Pollution Monitoring. IEEE Trans. Wirel. Commun. 16(5): 2723-2735 (2017)

[2] Y. Wei, X. Zhao, Z. Zhang, J. Xu, S. Cheng, Z. Liu, W. Sun, X. Chen, Z. Wang, X. Hao, J. Li, D. Chen. Impact of model resolution and its representativeness consistency with observations on operational prediction of PM2.5 with 3D-VAR data assimilation. Atmos. Pollut. Res., 2024.

[3] A. Krause, C. Guestrin, A. Gupta, J. Kleinberg. Robust sensor placements at informative and communication-efficient locations. ACM Transactions on Sensor Networks (TOSN), 7(4) :31, 2011.

[4] Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. A Bradford Book, Cambridge, MA, USA, 2018.

[5] Mohamed Sami Assenine, Walid Bechkit, Ichrak Mokhtari, Hervé Rivano, Karima Benatchba: Cooperative Deep Reinforcement Learning for Dynamic Pollution Plume