Doctorant (F/H) Intégration de L’ordonnancement Asynchrone Des Communications Réseau Et de L’ordonnancement Des Tâches

**Type de contrat**: CDD

**Niveau de diplôme exigé**: Bac + 5 ou équivalent

**Fonction**: Doctorant

**Niveau d'expérience souhaité**: Jeune diplômé

**A propos du centre ou de la direction fonctionnelle**:
Le centre Inria de l’université de Bordeaux est un des neuf centres d’Inria en France et compte une vingtaine d’équipes de recherche. Le centre Inria est un acteur majeur et reconnu dans le domaine des sciences numériques. Il est au cœur d'un riche écosystème de R&D et d’innovation : PME fortement innovantes, grands groupes industriels, pôles de compétitivité, acteurs de la recherche et de l’enseignement supérieur, laboratoires d'excellence, institut de recherche technologique

**Contexte et atouts du poste**:
Cette thèse s'inscrit dans le cadre du projet Exa-Soft du programme Numpex.

Dans le cadre du calcul haute-performance, les machines sont désormais très hétérogènes, équipées d’accélérateurs tels que les GPU ou les
FPGA. Ces différentes unités se programment avec des paradigmes différents, et pour ajouter à la complexité, il faut gérer les transferts de données entre les unités, l’ordonnancement, et l’équilibrage de charge.

Pour tirer profit d’une telle plate-forme, l’équipe STORM a proposé le support d’exécution StarPU qui gère ces problématiques de manière
confie l’exploitation du réseau à une bibliothèque de communication qui implémente l’interface MPI, d’utilisation standard en HPC.

charges de NewMadeleine. Un portage se StarPU sur l’interface native de NewMadeleine a été réalisé pour en exploiter au mieux les propriétés
de progression, de passage à l’échelle [6], ainsi qu’une intégration spécifique [7] des opérations collectives.

**Mission confiée**:
**Objectif**

L’objectif de cette thèse est de renforcer le dialogue entre NewMadeleine et StarPU dans la gestion des communications. Il s’agit
d’exploiter la connaissance du futur que l’on peut extraire du graphe de tâches de façon à optimiser les communications.

**Responsables**:
**Commentaires**

Les développements à réaliser se feront dans les bibliothèques StarPU et NewMadeleine disponibles en open source et se font en langage C. Il serait
souhaitable qu’ils soient réalisés par une personne à l’aise en programmation réseau et système.

**References**
[1] Emmanuel Agullo, Olivier Aumage, Mathieu Faverge, Nathalie Fur
- mento, Florent Pruvost, Marc Sergent, and Samuel Thibault. Achieving
High Performance on Supercomputers with a Sequential Task-based
Programming Model. IEEE Transactions on Parallel and Distributed Sys
- tems, 2017.
[2] Cédric Augonnet, Samuel Thibault, Raymond Namyst, and Pierre
- André Wacrenier. StarPU: A Unified Platform for Task Scheduling on
Heterogeneous Multicore Architectures. Concurrency and Computation:
Practice and Experience, Special Issue: Euro-Par 2009, 23:187-198, Febru
- ary 2011.
[3] Olivier Aumage, Elisabeth Brunet, Nathalie Furmento, and Raymond
Namyst. NewMadeleine: a Fast Communication Scheduling Engine
for High Performance Networks. In Workshop on Communication Archi
- tecture for Clusters (CAC 2007), workshop held in conjunction with IPDPS
2007, Long Beach, California, United States, March 2007.
[4] Guillaume Beauchamp. Portage de StarPU sur la bibliothèque de
communication NewMadeleine. Master’s thesis, Universite Bordeaux,
September 2017.
[5] Alexandre Denis. pioman: a pthread-based Multithreaded Commu
- nication Engine. In Euromicro International Conference on Parallel, Dis
- tributed and Network-based Processing, Turku, Finland, March 2015.
[6] Alexandre Denis. Scalability of the NewMadeleine Communication Li
- brary for Large Numbers of MPI Point-to-Point Requests. In CCGrid
2019 - 19th Annual IEEE/ACM International Symposium in Cluster, Cloud,
and Grid Computing, Larnaca, Cyprus, May 2019.
[7] Alexandre Denis, Emmanuel Jeannot, Philippe Swartvagher, and
Samuel Thibault. Using Dynamic Broadcasts to improve Task-Based
4
Runtime Performances. In Euro-Par 2020, Euro-Par 2020, Warsaw,
Poland, August 2020. Rzadca and Malawski, Springer.
[8] Alexandre Denis and François Trahay. MPI Overlap: Benchmark and
Analysis. In International Conference on Parallel Processing, 45th Interna
- tional Conference on Parallel Processing, Philadelphia, United States,
August 2016.

**Principales activités**:
**Détails de l'activité**:
**Enregistrement de la mémoire.** Les réseaux haute performance tels qu’InfiniBand sont programmés directement depuis l’espace utilisateur.
Pour que la carte puisse accéder directement aux données de l’utilisateur, en mémoire virtuelle, il faut au préalable enregistrer les pages mémoire
HPC classiques, son coût est habituellement amorti au travers d’un cache d’enregistrement, car les buffers sont souvent re-utilisés. En revanche, dans
le cadre de StarPU, la réception a souvent lieu dans un buffer alloué dynamiquement, utilisé une seule fois, déjouant les politiques reposant sur
un cache.

Grâce a la connaissance du futur dans le graphe de tâche, il est possible d’effectuer un enregistreme