Stage en Intelligence Artificielle

**REF : IA**:
Montbonnot / STAGE

**Kalray recherche**:
**Un(e) stagiaire en Intelligence Artificielle**:
REF : IA

**SUJET**:
Rattaché(e) à notre équipe architecture système, vous participez à analyser et améliorer les mécanismes de transfert du KV-cache (key-value cache) utilisés pour l’inférence efficace de grands modèles de langage (LLM) sur des architectures réparties équipées de processeurs intelligents (IPU). Il s’agit d’une opportunité pour vous de découvrir ou d’enrichir vos connaissances du secteur de l’Intelligence Artificielle, d’étoffer vos compétences et mettre en pratique la théorie.

A ce titre, vos missions principales sont les suivantes:

- Analyse du rôle du KV-cache dans l’architecture Transformer et ses implications sur la mémoire et les flux de communication lors de l’inférence distribuée. (vLLM et/ou LLM-d)
- Benchmark et caractérisation des transferts du KV-cache entre accélérateurs (GPU/IPU) et comparaison des différentes méthodes existantes.
- Étude des solutions logicielles et matérielles pour offloader/comprimer le KV-cache (par ex. quantification, segmentation, cache adaptatif).
- Conception, implémentation et validation d’un prototype de pipeline d’optimisation des transferts en s’appuyant sur les capacités de traitement parallèle et de transfert direct de l’IPU au GPUs.
- Évaluation des gains de performance sur des scénarios de pré-remplissage / décodage séparés et sur la scalabilité dans un environnement de LLM distribué.

Les résultats attendus sont les suivants:

- État de l’art des techniques d’optimisation et des limites actuelles pour la gestion du KV-cache dans l’inférence LLM distribuée.
- Propositions d’optimisations portant sur les formats, les protocoles ou les algorithmes de transfert sur IPU, éventuellement avec un prototype expérimental.
- Mesures quantitatives de performance (latence, bande passante, occupation mémoire), et recommandations pour les architectures futures.

**COMPETENCES REQUISES ET A DEVELOPPER**:

- Connaissances en intelligence artificielle, systèmes distribués et architecture matérielle pour relever des défis d’optimisation concrets dans l’IA générative et le calcul haute performance
- Pytorch, vLLM, LLM-d, HBM

**PROFIL**:

- Stagiaire en 3ieme année d’école d’ingénieur
- Possibilité de continuer en thèse CIFRE à la rentrée 2026
- Vous aimez travailler en équipe et prendre des initiatives
- Vous êtes enthousiaste à l’idée de participer à une aventure humaine et travailler dans un environnement agile
- Vous parlez couramment anglais

**CONTRAT**:

- Type de contrat : Convention de stage
- Gratification : Selon niveau d’étude
- Convention collective : Métallurgie
- Avantages : Travail hybride, titres restaurant, teambuilding et autre activités telles que laser game, escape game, voile, ski, karting, karaoké et bien plus encore
- Lieu : Montbonnot (38)

**A**_ PROPOS DE KALRAY_**

Essaimage du CEA fondé en 2008, Kalray est un acteur européen de référence dans le domaine des semi-conducteurs, soutenu par des investisseurs industriels de premier plan tels que Safran, NXP Semiconductors et Bpifrance. Avec plus de 30 familles de brevets et plus de 100 millions d’euros investis en R&D, notre technologie ouvre la voie à une nouvelle ère dans le traitement des données.

L’offre de Kalray comprend des solutions d’accélération matérielle et logicielle, ainsi qu’une offre de co-développement - ou de design à la demande - de processeurs et de solutions d’accélération optimisées pour des usages spécifiques dans des secteurs à forte croissance tels que les data centers, les gigafactories d’IA, les réseaux 5G, l’industrie 4.0, le spatial et la défense, et bien d’autres.

Kalray est avant tout une équipe de personnes passionnées, enthousiastes et volontaires, qui placent l’excellence et la collaboration au cœur de leur travail. Que vous soyez en stage ou en alternance, nous mettrons tout en œuvre pour vous aider à exprimer pleinement votre talent, développer votre potentiel et contribuer au succès de l’entreprise.

Nos bureaux sont situés près de Grenoble, dans les Alpes françaises, et nous disposons de bureaux supplémentaires près de Nice, à Sophia Antipolis, ainsi qu’en Roumanie.

Pour plus d’informations, visitez notre site web et suivez-nous sur LinkedIn.