Stage de Fin D'études en Optimisation de L'ia Pour

Il y a 2 mois

Palaiseau, France CEA Temps plein

Position description

**Category**:

- Engineering science

**Contract**:

- Internship

**Job title**:

- Stage de fin d'études en optimisation de l'IA pour l'obtention d'un Master 2 ou diplôme d'ingénieur H/F

**Subject**:

- Combine Token Pruning and Mixed Precision - A Dual Strategy for Efficient Vision Transformers

**Contract duration (months)**:

- 6

**Job description**:

- This internship proposes to explore a dual approach to optimizing ViTs by combining two complementary techniques: Token Pruning and Mixed Precision. Token pruning aims to reduce the amount of information processed at each layer by dynamically removing redundant or irrelevant tokens, thereby alleviating the computational load without significantly compromising performance. At the same time, mixed precision lets you use lower-precision number formats (like going from 32-bit precision to 16-bit or 8-bit) to save memory and speed up computations. This is possible while still keeping enough accuracy for vision tasks.The goal of this internship is to design, implement, and evaluate the effectiveness of a dual approach within a vision transformer model to achieve an optimal balance between computational efficiency and predictive performance. The laboratory, which has experience working with quantified Vits models, has already developed a token reduction approach that has shown promising results for semantic segmentation tasks. The adaptation of state-of-the-art solutions will be applied at different levels: at the encoder level, by integrating mixed precision quantization of operators, and at the decoder level, by adapting the model head to the quantized encoder to ensure consistency in information processing. Finally, benchmarking tests (FPS, mIOU, Params, MACC, FLOPS) will be conducted on an embedded NVIDIA Orin card to evaluate the generalization capabilities of the token reduction model.In this context, the objectives of the internship are:
- A survey of the techniques for token reduction
- A survey of the techniques for mixed precision quantification;
- Benchmarking tests (FPS, mIOU, Params, MACC, FLOPS) of models with selected optimization techniques;
- Develop a new frugal approach that challenges the state-of-the-art (SoTA);
- Implementation on embedded chip type NVIDIA Jetson Orin.

Token #TokenPruning
MixedPrecision
VIT #VisionTransformers #EfficientVisionTransformers
ModelOptimization
DeepLearning
NeuralNetworks
AIOptimization
MachineLearning
ModelCompression
ReducedComplexity
EnhancedPerformance**Methods / Means**:

- pytorch, git

**Applicant Profile**:

- Requested profile: Master degree (BAC+5)Position location

**Site**:

- Saclay

**Job location**:

- France, Ile-de-France, Essonne (91)

**Location**:

- Palaiseau

**PhD opportunity**:

- Oui

Requester

**Position start date**:

- 03/02/2025

General information

**Organisation**:
The French Alternative Energies and Atomic Energy Commission (CEA) is a key player in research, development and innovation in four main areas:

- defence and security,
- nuclear energy (fission and fusion),
- technological research for industry,
- fundamental research in the physical sciences and life sciences.

Drawing on its widely acknowledged expertise, and thanks to its 16000 technicians, engineers, researchers and staff, the CEA actively participates in collaborative projects with a large number of academic and industrial partners.

The CEA is established in ten centers spread throughout France

**Reference **:2024-34106**Description de l'unité**:

- The French Alternative Energies and Atomic Energy Commission (CEA) is a key player in research, development, and innovation. This technological research organization is active in three major fields: energy, information and health technologies, and defense. As a recognized expert in its fields, the CEA fully integrates into the European research area and continues to expand its international presence. The Laboratory for Systems and Technology Integration (LIST), located in the Ile de France south (Saclay), is tasked with contributing to technology transfer and promoting innovation in the field of embedded systems. Within LIST, the Embedded Artificial Intelligence Laboratory (LIAE) is responsible for designing, developing, and implementing optimized solutions (surface, consumption, computing power) for embedded systems.

  • Stages de Fin D'étude

    Il y a 7 mois

    Palaiseau, France ORASYS Temps plein

    **Stages de fin d’étude**: Venez découvrir le métier de pentester à nos côtés. Nos stages vous permettent à la fois d’approfondir vos connaissances des tests d’intrusion lors de missions clients, et de conduire une activité de recherche sur votre ‘sujet de stage’. Les sujets de stage sont cadrés et suivis par un tuteur de stage, quelques...

  • Optimisation de L'ia

    Il y a 2 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués **Sujet de stage**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches? **Durée du contrat (en mois)**: - 6...

  • Stage - Modélisation Et Optimisation

    Il y a 3 mois

    Palaiseau, France Thales Temps plein

    **QUI SOMMES-NOUS ?** **Construisons ensemble un avenir de confiance** Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus...

  • Stage de Fin D'études

    Il y a 2 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Stage de fin d'études H/F **Sujet de stage**: - Accélération matérielle de la multiplication matricielle massive pour l'inférence des Vision Transformers (ViT) **Durée du contrat (en mois)**: - 6 **Description de l'offre**: - Ce...

  • Stage - Optimisation Des Systèmes énergétiques

    il y a 4 semaines

    Palaiseau, France TotalEnergies Temps plein

    Pays France- Ville PALAISEAU- Lieu de travail PALAISEAU-LE NEXT(FRA)- Société employeur TotalEnergies OneTech- Domaine Recherche Innovation&Développt- Type de contrat Stage conventionné- Durée du contrat 6- Unité de durée Mois- Expérience Moins de 3 ans**Contexte et environnement****: **Activités****: L'objectif est d'améliorer l'outil...

  • Stage - Système de Détection Et de Réponse Aux Intrusions Par Ia (H/F)

    il y a 2 semaines

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Stage - Système de détection et de réponse aux intrusions par IA H/F **Sujet de stage**: - Dans un contexte en constante évolution, vous travaillerez sur l'amélioration du système de détection d'intrusions...

  • Étude Et Optimisation de La Consommation

    Il y a 3 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Étude et optimisation de la consommation énergétique des systèmes blockchain H/F **Sujet de stage**: - Contexte: La technologie blockchain, bien qu'innovante pour les interactions numériques...

  • Stage - Benchmark Des Méthodes Heuristiques D'optimisation (H/F)

    il y a 3 semaines

    Palaiseau, France TotalEnergies Temps plein

    Pays - France - Ville - PALAISEAU - Lieu de travail - PALAISEAU-LE NEXT(FRA) - Société employeur - TotalEnergies OneTech - Domaine - Recherche Innovation&Développt - Type de contrat - Stage conventionné - Expérience - Moins de 3 ans **Contexte et environnement***: **Activités***: Votre rôle consistera à: - Faire un benchmark sur différents...

  • Stage - Application de L’optimisation Black-box Dans Le Secteur de L'énergie (H/F)

    il y a 3 semaines

    Palaiseau, France TotalEnergies Temps plein

    Pays - France - Ville - PALAISEAU - Lieu de travail - PALAISEAU-ROUTE DE SACLAY(FRA) - Société employeur - TotalEnergies OneTech - Domaine - Recherche Innovation&Développt - Type de contrat - Stage conventionné - Expérience - Moins de 3 ans **Contexte et environnement***: L’optimisation black-box (optimisation de boîte noire) est une discipline...

  • STAGE – Cartesian Genetic Programming pour l’optimisation dynamique explicable

    Il y a 2 mois

    Palaiseau, France THALES Temps plein

    QUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...

  • STAGE OUVRIER– Ingénieur en Corpus documentaire pour IA Generative d'onboarding de talent IA

    il y a 3 semaines

    Palaiseau, France THALES Temps plein

    QUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...

  • Stage - Structural Causal Modeling for Batteries

    Il y a 2 mois

    Palaiseau, France TotalEnergies Temps plein

    **Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-ROUTE DE SACLAY(FRA) **Domaine** Systèmes d'Information **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** - Le pôle Data Science & AI fait partie de la R&D de TotalEnergies OneTech et a pour objectif...

  • Stage - Système de Détection Et de Réponse Aux

    Il y a 3 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Stage - Système de détection et de réponse aux intrusions par IA H/F H/F **Sujet de stage**: - Dans un contexte en constante évolution, vous travaillerez sur l'amélioration du système de détection d'intrusions...

  • Stage - Causal Representation Learning - (H/F)

    Il y a 2 mois

    Palaiseau, France TotalEnergies Temps plein

    **Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-ROUTE DE SACLAY(FRA) **Domaine** Systèmes d'Information **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** - Le pôle Data Science & AI fait partie de la R&D de TotalEnergies OneTech et a pour objectif...

  • Stage - Ingénieur sur l'optimisation de détec H/F (Stage)

    il y a 2 jours

    Palaiseau, 91120, Palaiseau, France THALES Temps plein

    Chez Thales, nous sommes fiers de travailler ensemble pour imaginer des solutions innovantes qui contribuent à construire un avenir plus sûr, plus vert et plus inclusif. Un avenir de confiance. Mais ces technologies ne viennent pas de nulle part. L'intelligence humaine est le moteur derrière la technologie qui fait la renommée de Thales. Les projets...

  • Stage - Mise en Place D'une Chaîne Outillée Mlops

    Il y a 3 mois

    Palaiseau, France Thales Temps plein

    **QUI SOMMES-NOUS ?** **Construisons ensemble un avenir de confiance** Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus...

  • Stage - Cartesian Genetic Programming Pour

    Il y a 3 mois

    Palaiseau, France Thales Temps plein

    **QUI SOMMES-NOUS ?** **Construisons ensemble un avenir de confiance** Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus...

  • Ingénieur en Recherche de Solutions pour l'IA

    il y a 2 semaines

    Palaiseau, Île-de-France THALES Temps plein

    Avec Thales, vous aurez l'opportunité de rejoindre une équipe pionnière dans le domaine de l'intelligence artificielle et de contribuer à la création de solutions révolutionnaires. Nous recherchons un spécialiste qui souhaite travailler sur des projets innovants et apporter ses compétences en explication des modèles. Le salaire est estimé...

  • STAGE – Ingénieur Sécurité de l'IA

    Il y a 2 mois

    Palaiseau, France THALES Temps plein

    QUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...

  • Inférence Embarquée D'un Nouveau Modèle D'ia

    Il y a 3 mois

    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba **Sujet de stage**: - Analyse et caractérisation du modèle Vision Mamba (mémoire, puissance de calcul, quantification) pour une inférence embarquée. **Durée du contrat (en...