Stage -Développement C++ de kernels FP8 pour la plateforme de Deep Learning Aidge H/F

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités

• La coopération

• La curiosité

Référence

Description de l'unité

Le Laboratoire Systèmes-sur-puce et Technologies Avancées (LSTA) a pour mission d'étudier, concevoir et implémenter des architectures multi-cœurs et des accélérateurs haute performance. Il exploite pour cela les dernières technologies avancées disponibles : CMOS jusqu'au nœud 7nm, intégration 2.5D/3D, mémoires non-volatiles, ainsi que des implémentations FPGA. Les domaines applicatifs des architectures développées sont ceux du calcul haute-performance (HPC – High Performance Computing), de l'intelligence artificielle (IA) et du quantique (contrôle numérique de circuits quantiques CMOS).

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Stage -Développement C++ de kernels FP8 pour la plateforme de Deep Learning Aidge H/F

Sujet de stage

Ce stage porte sur l'implémentation et l'expérimentation du format numérique FP8 dans la plateforme open-source Aidge, développée par le CEA pour la conception et l'export de réseaux de neurones. L'objectif est de définir et intégrer les deux encodages FP8 (E4M3 et E5M2) dans Aidge, de développer des noyaux de calcul adaptés sur CPU, et de valider leur usage par l'entraînement complet d'un réseau de neurones en FP8.

Durée du contrat (en mois)

6 mois

Description de l'offre

Rejoignez-nous en Stage  

CEA Tech Corporate from CEA Tech on Vimeo.

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :

Les calculs des réseaux de neurones sont historiquement faits dans le format 32 bits classique. L'essor récent de ces réseaux et leur complexité grandissante ont conduit à explorer d'autres formats de données, à même de réduire les temps de calcul, la mémoire utilisée et la consommation électrique. Les derniers développements dans ce domaine ont conduit à l'utilisation du format FP8 [1], où un nombre est encodé sur 8 bits. En pratique, le format FP8 se décompose en deux encodages : E4M3 (4 bits d'exposant, 3 de mantisse), utilisé pour l'inférence ; et E5M2, utilisé pour l'apprentissage.

Le but de ce stage est d'implémenter ce format numérique dans la plateforme logiciel open-source Aidge, développée par les équipes du CEA et dédiée à la conception, la manipulation et l'export de réseaux de neurones, en particulier sur des cibles embarquées [2]. 

Les attendus du stage sont donc :

• La définition des nouveaux formats FP8 dans Aidge, qui se fera en choisissant une implémentation déjà existante et en l'intégrant dans la plateforme.
• L'implémentation de noyaux de calculs (sur CPU, uniquement en inférence) utilisant ce format.
• L'implémentation de noyaux de calculs CUDA (à la fois pour l'entraînement et l'inférence) utilisant le FP8.
• L'entraînement de bout en bout d'un réseau de neurones en FP8 avec Aidge
• (Bonus) Si le temps le permet, des sujets annexes peuvent être abordés, principalement les arrondis stochastiques et la prise en compte du facteur de scaling dans les noyaux de calculs.

En fonction des attendus de votre école, les sujets pourront être discutés.

[1] : Micikevicius, Paulius, Dusan Stosic, Neil Burgess, et al. "FP8 Formats for Deep Learning." arXiv: Preprint, arXiv, September 29, 2022.
[2] :

Moyens / Méthodes / Logiciels

Ferme de calcul FactoryIA

Profil du candidat

Qu'attendons-nous de vous ?

Vous êtes étudiant(e) en dernière année d'école d'ingénieur ou de master en
informatique (M2). Vous êtes curieux(se), rigoureux(se) et appréciez travailler
sur des problématiques techniques et concrètes.

Vous possédez des connaissances en C++(14), avec une première expérience significative (projet académique, personnel ou stage), et vous maîtrisez Git. Des notions en réseaux de neurones et l'utilisation de frameworks tels que PyTorch, TensorFlow seraient appréciées.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles 

Vous avez encore un doute ? Nous vous proposons :

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l'innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l'issue de votre stage
• Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Site

Grenoble

Localisation du poste

France, Auvergne-Rhône-Alpes, Isère (38)

Ville

Grenoble

Critères candidat
Langues

• Français (Courant)
• Anglais (Courant)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Formation recommandée

École d'ingénieur - Université

Possibilité de poursuite en thèse

Non

Disponibilité du poste

02/02/2026

---