Exploitation de La Sparsité Pour La Réduction de

Il y a 3 mois

Palaiseau, France CEA Temps plein

Description du poste

**Domaine**:

- Sciences pour l'ingénieur

**Contrat**:

- Stage

**Intitulé de l'offre**:

- Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

**Sujet de stage**:

- Exploitation de sparsité par compression de matrice sur des modèles Transformer

**Durée du contrat (en mois)**:

- 6

**Description de l'offre**:

- Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité [2]. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites.-
- Déployer un réseau ViT existant comme base de référence
- Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité,
- Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle.
- Mettre en place des solutions et caractériser les gains et/ou des pertes observées en terme de taille et de performance.
- Proposer dans la mesure du possible de piste d’implémentation d’un support matériel pour une implémentation embarquée.
- Une bonne expérience avec Pytorch et cibles embarquées serait appréciée.- **Moyens / Méthodes / Logiciels**:

- Moyens : Linux, Versionnage Git, PC/GPU, IDE
- Niveau demandé : diplôme master (BAC+5)- Compétences : Système embarqué, IA, Python, traitement d’image, Pytorch- Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années- Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes._

Localisation du poste

**Site**:

- Saclay

**Localisation du poste**:

- France, Ile-de-France, Essonne (91)

**Ville**:

- Palaiseau

**Diplôme préparé**:

- Bac+5 - Diplôme École d'ingénieurs

Demandeur

**Disponibilité du poste**:

- 03/02/2025

Informations générales

**Entité de rattachement**:
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales:

- La conscience des responsabilités
- La coopération
- La curiosité

**Référence **:2024-33270**Description de l'unité**:

- Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

  • Greffier (H/F)

    il y a 1 mois

    Palaiseau, France Ministère de la Justice Temps plein

    **Devenir greffier, c’est**: - Exercer un métier à responsabilités, aux missions variées, indispensable à la société ; - Accéder à une formation de 18 mois rémunérée, composée majoritairement de stages sur le terrain ; - Embrasser une carrière aux multiples possibilités d’évolution. - Vous avez jusqu’au 10 janvier 2025 pour vous...

  • Assistant Gestion

    Il y a 4 mois

    Palaiseau, France Avenue de la Com Temps plein

    Existante depuis 20 ans, Avenue de la Com se positionne au fil des années comme étant une agence de communication atypique. Appréciée par ses clients pour ses valeurs et sa créativité, Avenue de la Com possède un savoir-faire de qualité. Sa clientèle est principalement constituée de Moyens et Grands-Comptes et les secteurs d'activités sont...

  • Conseiller commercial en prêts immobiliers

    Il y a 6 mois

    Palaiseau, Essonne, France La Centrale de Financement Temps plein

    L'ENTREPRISECréée en 2013, La Centrale de Financement (LCF) est Intermédiaire en Opérations de Banque et Services de Paiement (prêts immobiliers, prêts professionnels, Regroupement de crédits, prêts à la consommation) et Intermédiaire en Assurance.Filiale du groupe APRIL notre société assoit son développement sur la qualité de service et...

  • Conseiller commercial en prêts immobiliers

    Il y a 6 mois

    Palaiseau, France La Centrale de Financement Temps plein

    L'ENTREPRISECréée en 2013, La Centrale de Financement (LCF) est Intermédiaire en Opérations de Banque et Services de Paiement (prêts immobiliers, prêts professionnels, Regroupement de crédits, prêts à la consommation) et Intermédiaire en Assurance.Filiale du groupe APRIL notre société assoit son développement sur la qualité de service et...

  • Assistant de Service Social

    Il y a 6 mois

    Palaiseau, France Direction Territoriale de la Protection Judiciaire de la Jeunesse de l'Essonne Temps plein

    La Protection Judiciaire de la Jeunesse (PJJ) est une direction du Ministère de la Justice chargée de l'ensemble des questions relatives à la justice des mineurs. Les services de la PJJ concentrent leur intervention sur l'action d'éducation auprès des mineurs ayant commis des actes de délinquance et sur l'investigation, civile et pénale. Le poste est...

  • Serveur en Salle

    Il y a 6 mois

    Palaiseau, France La Cabane Temps plein

    Le restaurant LA CABANE dans un décor d'évasion, situé à Palaiseau (91), recherche un **SERVEUR(SEUSE) avec expérience**. (Pas d'étudiant, ceci N'EST PAS UN JOB ETUDIANT) D'un esprit joyeux(se), avenant(e), vous faîtes preuve d'un sens de l'accueil et de dynamisme pour ce poste. Prise de commandes, service à table, débarrassage. Service midi et/ou...

  • Serveur en Salle Etudiant

    Il y a 6 mois

    Palaiseau, France LA CABANE Temps plein

    Le restaurant LA CABANE dans un cadre insolite, situé à Palaiseau (91 - RER B), recherche un **SERVEUR(EUSE).** (Poste pour étudiant) D'un esprit joyeux(se), avenant(e), vous faîtes preuve d'un sens de l'accueil et de dynamisme pour ce poste. Prise de commandes, service à table. Service midi et/ou soir selon les plannings hebdomadaires. **Contrat à...

  • Hôte D'accueil étudiant

    Il y a 4 mois

    Palaiseau, France LA CABANE - LE MOULIN DE LILY Temps plein

    **L’hôtel-spa Le Moulin de Lily est localisé au bord de l’Yvette, à Palaiseau (91 - RER B). C’est un établissement doté d’un décor atypique plein de charmes.** Nous recherchons un hôte d'accueil étudiant (H/F). Poste à pourvoir dès que possible. Contrat étudiant à temps partiel, de 2 à 5 jours. Le poste est à tenir de 18h à 22h. Vos...

  • Hôte D'accueil étudiant

    Il y a 7 mois

    Palaiseau, France LA CABANE - LE MOULIN DE LILY Temps plein

    **L’hôtel-spa Le Moulin de Lily est localisé au bord de l’Yvette, à Palaiseau (91 - RER B). C’est un établissement doté d’un décor atypique plein de charmes.** Nous recherchons un hôte d'accueil étudiant(H/F). Poste à pourvoir dès que possible. Contrat étudiant de 20h/semaine, 3 jours par semaine minimum. Le poste est à tenir de 18h à...

  • TRAITANT DE DONNÉES DE PILOTAGE

    Il y a 2 mois

    Palaiseau, France Armée de terre Temps plein

    Veuillez pour partager sur Facebook, Twitter et LinkedIn. Fonction publique : Fonction publique de l'État Employeur : Armée de terre Localisation : RUE DES CORLUS 91340 OLLAINVILLE Nature de l’emploi Emploi ouvert aux titulaires et aux contractuels Expérience souhaitée Non renseigné Rémunération (fourchette indicative pour les contractuels) Non...

  • Spécialiste en données stratégiques pour la transformation de l'entreprise

    il y a 4 semaines

    Palaiseau, Île-de-France LA MUTUELLE FAMILIALE Temps plein

    Vous êtes à la recherche d'un défi passionnant dans un environnement dynamique ? Vous souhaitez rejoindre une entreprise qui encourage la polyvalence, les nouvelles idées, l'autonomie et l'agilité ?Nous sommes à la recherche d'un Spécialiste en données stratégiques pour mener notre projet de transformation de l'entreprise vers une...

  • Chef de Projets Formation Soin Spécialiste en Données

    il y a 4 semaines

    Palaiseau, Île-de-France LA MUTUELLE FAMILIALE Temps plein

    Détails du posteCe poste est rattaché à la Directrice Pilotage et Qualité. Vous accompagnez cette dernière dans son travail de recueil, d'analyse, de documentation et de maîtrise des données de la mutuelle afin d'en optimiser leur utilisation.

  • Moniteur / Trice Atelier

    Il y a 4 mois

    Palaiseau, France ESAT LA CARDON Temps plein

    niveau minimum : CAP/BEP + 5 ans de pratique professionnelle Certificat de branche Moniteur d'Atelier possible Mission : organisation du travail d'une équipe d'une douzaine d'adultes en situation de handicap psychique ou mental au sein d'une équipe pluri-disciplinaire. Travail en équipe + sens des relations humaines Une expérience en ESAT serait la...

  • Responsable Entretien Et Sécurité de Site

    il y a 2 semaines

    Palaiseau, France ESAT La Cardon Temps plein

    **À propos du poste** Nous recherchons un chef d’entretien locaux et sécurité pour l'ESAT la Cardon à Palaiseau, pour effectuer la maintenance du site, et en assurer la sécurité. Ce poste requiert des compétences techniques solides ainsi qu'un sens aigu de la relation humaine. Maintenance et Sécurité: - Assurer l'entretien préventif et curatif...

  • Pilotage H/F

    il y a 1 mois

    Palaiseau, France VNF - Voies Navigables de France Temps plein

    Identifiant (email, de type exemple@exemple.fr)Mots clés (ex : ingénieur commercial Paris)Chef(fe) de l'Unité Territoriale d'Itinéraire des Boucles de la SeineDescription du posteFamille professionnelleIntitulé de l'offreChef(fe) de l'Unité Territoriale d'Itinéraire des Boucles de la SeineType de recrutementFonctionnaire / CDICatégorie A...

  • Pilotage H/F

    il y a 1 mois

    Palaiseau, France VNF - Voies Navigables de France Temps plein

    Identifiant (email, de type ) Mots clés (ex : ingénieur commercial Paris) Chef(fe) de l'Unité Territoriale d'Itinéraire des Boucles de la Seine Description du poste Famille professionnelle Intitulé de l'offre Chef(fe) de l'Unité Territoriale d'Itinéraire des Boucles de la Seine Type de recrutement Fonctionnaire / CDI Catégorie A (fonctionnaire)...

  • Ménage à Domicile

    Il y a 6 mois

    Palaiseau, France La Compagnie des Lavandières Temps plein

    Des conditions parmi les meilleures du ménage à domicile Ce que vous trouverez chez nous - La sécurité d’un CDI 35 heures/semaine - Une VOITURE de service - Une rémunération mensuelle de 1767€ - Des tickets restaurant pris en charge à 60% par l'entreprise - Des PRIMES sur objectifs - Un Smartphone - Une mutuelle d'entreprise prise en charge à...

  • Aide Soignant 12h

    il y a 5 jours

    Palaiseau, France EHPAD la Pie Voleuse Temps plein

    **2. DÉFINITION DU POSTE** **Dénomination du poste **:Aide-soignant(e) **Relations hiérarchique et fonctionnelles principales liées au poste**: Position hiérarchique : Sous l’autorité du Directeur de l’établissement et de la Cadre de santé / IDEC ; Position fonctionnelle : équipe soignante **Relations internes et externes**: **Rémunération...

  • Aide-soignant en 12h00

    il y a 5 jours

    Palaiseau, France EHPAD La Pie Voleuse Temps plein

    **Détails de l’offre**: **POSTE PROPOSÉ** AIDE-SOIGNANT EN 12H00 **CONTRAT** CDD; Détachement; Mutation **DESCRIPTIF** LEHPAD la Pie Voleuse est un établissement public dédié à la prise en charge de personnes peu autonomes accueillant 81 résidents. Létablissement est doté: - Dun Pôle d'Activités et de Soins Adaptés de 14 places ouvert du...

  • Cdi 35h

    il y a 4 semaines

    Palaiseau, France La Compagnie des Lavandières Temps plein

    **Ce que nous vous garantissons de trouver ?** Des conditions de travail épanouissantes - La sécurité d’un CDI 35 heures/semaine - Une voiture de service avec la prise en charge du carburant - Une rémunération mensuelle de 1802 à 1847€ brut - Des tickets restaurant pris en charge à 60% par l'entreprise - Des primes sur objectifs - Un Smartphone -...