Accélération matérielle de la multiplication matricielle massive pour l'inférence des ViT H/F

il y a 3 jours


Palaiseau, France CEA Temps plein

Description de l'offre

Ce stage se déroulera au sein du Laboratoire Environnement de Conception et Architecture (LECA), basé à Nano-Innov, du CEA LIST. Il portera sur l’accélération matérielle des calculs de multiplication matricielle massive qui est une opération clé dans l’inférence des Vision Transformers (ViT), une architecture de référence pour de nombreuses tâches de vision par ordinateur. Toutefois, les modèles ViT sont très gourmands en ressources de calcul et en mémoire, notamment en raison de ces multiplications matricielles massives. Accélérer ces opérations est donc essentiel pour permettre leur déploiement dans des systèmes embarqués à faible consommation d’énergie.

Objectif du stage :

Le stagiaire aura pour mission de développer une solution matérielle visant à accélérer les multiplications matricielles massives dans les phases d'inférence des ViT. Il s'agira de proposer des optimisations pour réduire les temps de calcul tout en maintenant un haut niveau de précision. Après une étude approfondie des besoins en calcul et en bande passante mémoire des ViT, le stagiaire proposera une architecture matérielle adaptée, qui sera validée sur FPGA.

Tâches principales :

- Étudier les caractéristiques des Vision Transformers et identifier les goulots d'étranglement liés aux multiplications matricielles.

- Analyser les solutions d'accélération matérielle existantes et évaluer leur applicabilité aux ViT.

- Proposer et implémenter une architecture matérielle optimisée (VHDL) pour les calculs de multiplication matricielle sur FPGA.

- Évaluer les performances de la solution en termes de vitesse, consommation d’énergie et utilisation de la mémoire.

- Présenter les résultats sous forme d’un rapport technique et, si possible, contribuer à une publication pour une conférence internationale.

Ce stage permettra au candidat de développer des compétences approfondies en conception matérielle (VHDL). Il offrira également une excellente opportunité d'acquérir une expérience pratique dans le développement d’accélérateurs matériels pour des applications réelles de vision par ordinateur.

Profil du candidat

Niveau demandé: Bac+5 (Master 2 recherche/diplôme Ingénieur)

Compétences: VHDL, C/C++, réseaux de neurones profonds (DNN)

Pièces à fournir: CV + lettre de motivation + classements

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.



  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Accélération matérielle de la multiplication matricielle massive pour l'inférence des ViT H/F **Sujet de stage**: - Accélération matérielle de la multiplication matricielle massive pour l'inférence des Vision Transformers...

  • Stage de Fin D'études

    il y a 1 mois


    Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Stage de fin d'études H/F **Sujet de stage**: - Accélération matérielle de la multiplication matricielle massive pour l'inférence des Vision Transformers (ViT) **Durée du contrat (en mois)**: - 6 **Description de l'offre**: - Ce...


  • Palaiseau, France CEA Temps plein

    Description de l'offre Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la...


  • Palaiseau, France CEA Temps plein

    Description de l'offre Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba **Sujet de stage**: - Analyse et caractérisation du modèle Vision Mamba (mémoire, puissance de calcul, quantification) pour une inférence embarquée. **Durée du contrat (en...


  • Palaiseau, Île-de-France INRIA Temps plein

    Job Title: Postdoctoral Research Visit F/M Model Placement in Inference Delivery NetworksWe are seeking a highly motivated postdoctoral researcher to join our team at INRIA Saclay, working on the topic of AI model placement in inference delivery networks.Job Description:The successful candidate will be part of a research team focused on developing novel...


  • Palaiseau, France Inria Temps plein

    **Niveau de diplôme exigé **:Bac + 4 ou équivalent **Autre diplôme apprécié **:Master or PhD **Fonction **:Ingénieur scientifique contractuel **Niveau d'expérience souhaité **:De 3 à 5 ans **A propos du centre ou de la direction fonctionnelle**: - Le centre de recherche Inria de Saclay a été créé en 2008. Sa dynamique s’inscrit dans le...


  • Palaiseau, France CEA Temps plein

    Description de l'offre Sujet PostDoc en Intelligence Artificielle pour les systèmes embarqués Stratégie de co-conception pour l'exploitation de la sparsité spatio-temporelle dans les réseaux de neurones Transformer à l'inférence et à l'apprentissage L'objectif du PostDoc est d'identifier, d'analyser et d'évaluer les mécanismes de modulation...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT **Sujet de stage**: - Exploitation de sparsité par compression de matrice sur des modèles Transformer **Durée du contrat (en mois)**: -...


  • Palaiseau, Île-de-France Bouygues Construction Temps plein

    Vous rejoignez Bouygues Construction, leader dans le domaine de la construction et de l'ingénierie, en tant que Conseiller en Métallurgie et Matériel H/F.Poste : Bouygues Construction Matériel, filiale du Groupe Bouygues Construction, apporte son savoir-faire lors de la mise à disposition de tout type de Matériel, pour l'ensemble des chantiers...


  • Palaiseau, Île-de-France CEA Temps plein

    Description de l'offreNous recherchons un postdoctorant pour rejoindre notre équipe de recherche en intelligence artificielle pour systèmes embarqués. Le candidat idéal sera titulaire d'un doctorat en IA pour systèmes embarqués avec une expérience en conception de réseau de neurones optimisé ciblant des composants numériques (GPU/FPGA/Asic) avec...


  • Palaiseau, Île-de-France ID Search Arcade Temps plein

    A propos de l'entreprise : ID Search Arcade recherche un technicien de maintenance matériels roulants spécialisé pour rejoindre son équipe.A propos du poste : Le technicien de maintenance matériels roulants sera chargé de garantir la couverture quotidienne du plan de transport en qualité, en respect des coûts et en sécurité. Il sera responsable...


  • Palaiseau, Île-de-France Thales Temps plein

    Qui sommes-nous ? Situé sur le campus de l'École polytechnique, au cœur du pôle scientifique et technologique d'envergure mondiale de Paris-Saclay, Thales Research & Technology (TRT) France constitue le centre de recherche et technologies français du Groupe Thales, au service des activités mondiales de Thales. Grâce à une politique de...


  • Palaiseau, France Thales Temps plein

    **QUI SOMMES-NOUS ?** Situé sur le campus de l’École polytechnique, au cœur du pôle scientifique et technologique d’envergure mondiale de Paris-Saclay, à Palaiseau, Thales Research & Technology (TRT) France constitue le centre de recherche et technologies français du Groupe Thales, au service des activités mondiales de Thales. Grâce à une...


  • Palaiseau, Île-de-France Bouygues Construction Temps plein

    Avec 32 400 collaborateurs intervenant dans 60 pays, Bouygues Construction est une entreprise leader dans le domaine de la construction et de la réhabilitation d'infrastructures et de bâtiments essentiels pour une société durable.MissionVous rejoignez l'équipe de Bouygues Construction Matériel, filiale du Groupe Bouygues Construction, qui...


  • Palaiseau, France INRIA Temps plein

    Contexte et atouts du poste Dans le cadre de la chaire ANR TopAI portée par Frédéric Chazal, l'objectif est de développer de nouveaux outils topologiques et géométriques pour l'apprentissage machine et l'intelligence artificielle générative, adaptés aux données complexes et venant avec des garanties mathématiques fortes et bien fondées. ...


  • Palaiseau, Essonne, France La Centrale de Financement Temps plein

    L'ENTREPRISECréée en 2013, La Centrale de Financement (LCF) est Intermédiaire en Opérations de Banque et Services de Paiement (prêts immobiliers, prêts professionnels, Regroupement de crédits, prêts à la consommation) et Intermédiaire en Assurance.Filiale du groupe APRIL notre société assoit son développement sur la qualité de service et...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...


  • Palaiseau, France CEA Temps plein

    Description du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...


  • Palaiseau, France aeroemploiformation.com Temps plein

    Description du posteRéférence : AA1201RF Dans le Département Électromagnétisme et Radar (DEMR), l'unité de recherche TERA (Télédétection et Études Radars Aérospatiaux) est en charge des systèmes radars expérimentaux sur avion (SETHI et BUSARD) et sur drone (SAR-Light), ainsi que des traitements et études associés en imagerie radar et modes...