Peut-on Appliquer Une Méthode de Réduction Des
Il y a 2 mois
Description du poste
**Domaine**:
- Systèmes d'information
**Contrat**:
- Stage
**Intitulé de l'offre**:
- Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F
**Sujet de stage**:
- Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant
des performances de pointe dans une large gamme de tâches, telles que la classification d'images,
la segmentation, l'estimation de profondeur, la détection d'objets et l'analyse du flux optique.
Cependant, leurs exigences élevées en termes de calcul et de mémoire restent des obstacles
importants à leur déploiement en temps réel et dans des environnements aux ressources limitées.
Pour relever ces défis, les techniques de réduction des modèles sont essentielles, offrant un moyen
de diminuer la complexité tout en préservant les performances.
Ce stage vise à développer une stratégie polyvalente et efficace de réduction des tokens pour
optimiser les performances des modèles ViT sur diverses tâches, tout en réduisant la charge
où précision et efficacité sont cruciales.
**Durée du contrat (en mois)**:
- 6 mois
**Description de l'offre**:
- L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des tokens, développée dans notre laboratoire pour la segmentation sémantique [1]. Cette méthode combine la fusion des tokens, qui réduit le nombre de tokens à traiter par le transformeur, avec une stratégie de sortie anticipée, permettant au modèle de stopper les calculs lorsque les couches intermédiaires atteignent un niveau de confiance suffisant. Le principal objectif de ce travail est d'évaluer l'efficacité de cette méthode sur diverses tâches et d'explorer les optimisations potentielles pour la fusion des tokens. Sur la base de ces évaluations, nous visons à déterminer si le système actuel de réduction des tokens hybride est suffisant pour maintenir les performances sur toutes les tâches ou si des modifications spécifiques à chaque tâche sont
nécessaires.- Dans ce contexte, les objectifs du stage sont les suivants:
- Réaliser une étude des techniques de fusion des tokens, en soulignant les principaux aspects à considérer, tels que les facteurs influençant les décisions de fusion (par exemple, l'importance des tokens et la complexité des tâches), et en explorant comment optimiser ces facteurs pour une large gamme de tâches ;
- Intégrer des têtes adaptées aux tâches de prédiction dense comme l'estimation de profondeur, la détection d'objets, la segmentation d'instances ou l'analyse du flux optique ;
- Mise en oeuvre sur une puce embarquée de type NVIDIA Jetson Orin ;
- Évaluer la technique d'optimisation des tokens sur d'autres backbones, tels que les modèles de fondation comme DinoV2 [2] ou SAM (Segment Anything Model) [3] ;
- Effectuer des tests de benchmarking (FPS, mIOU, Params, MACC, FLOPS) pour évaluer les capacités de généralisation du modèle de réduction des tokens.
- Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.- Références:
- [1] Proust, M., Poreba, M., Galagain, C., Szczepanski, M., Haroun, K., Optimizing Vision Transformers for Edge Deployment: Hybrid Token Reduction for Efficient Semantic Segmentation, European Conference on EDGE AI Technologies and Applications EEIA24, Cagliari, Sardaigne, Italie (en cours de soumission)
[2] Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., Fernandez, P., Haziza, D., Massa, F., El-Nouby, A., et al., Dinov2: Learning robust visual features without supervision, arXiv:2304.07193, 2023.
[3] Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A.C., Lo, W., Dollár, P., & Girshick, R.B. (2023). Segment Anything. 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 3992-4003.**Moyens / Méthodes / Logiciels**:
- Langage C/C++, Python, IA, traitement d'image, Linux
- Formation : Ingénieur/Master - Bac+5
- Bon niveau d'anglais (B2 ou plus)
- Spécialisation en réseau ou intelligence artificielle
- Connaissance d’architectures de réseaux de neurones
- Bon niveau en programmation (principalement Python)
- Une expérience en embarqué serait un plus
Localisation du poste
**Site**:
- Saclay
**Localisation du poste**:
- France, Ile-de-France, Essonne (91)
**Ville**:
- Palaiseau
**Langues**:
- Anglais (Intermédiaire)
- Français (Intermédiaire)
**Diplôme préparé**:
- Bac+5 - Master 2
**Formation recommandée**:
- Ingénieur/Master
**Possibilité de poursuite en thèse**:
- Oui
Dema
-
Peut-on Appliquer Une Méthode de Réduction Des
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...
-
Exploitation de La Sparsité Pour La Réduction de
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT **Sujet de stage**: - Exploitation de sparsité par compression de matrice sur des modèles Transformer **Durée du contrat (en mois)**: -...
-
Palaiseau, France ONERA Temps pleinA propos de l'entreprise : L'ONERA, acteur central de la recherche aéronautique et spatiale, emploie plus de 2000 personnes. Placé sous la tutelle du ministère des Armées, il dispose d'un budget de 289 millions d'euros (2023), dont plus de la moitié provient de contrats d'études, de recherche et d'essais. Expert étatique, l'ONERA prépare la...
-
Ingénieur développement de méthode de conception de véhicule avancée
il y a 4 semaines
Palaiseau, Île-de-France ONERA Temps pleinA propos de l'entreprise :L'ONERA, acteur central de la recherche aéronautique et spatiale, est un acteur majeur de l'innovation dans ce domaine.A propos du poste :L'équipe de l'ONERA recherche un ingénieur développement de méthodes numériques pour la conception multidisciplinaire.Vos missions seront les suivantes :Contribuer au développement de la...
-
Palaiseau, France CEA Temps pleinDescription de l'offre Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la...
-
Optimisation de L'ia
il y a 1 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués **Sujet de stage**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches? **Durée du contrat (en mois)**: - 6...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Agent ou Agente D'entretien Général
Il y a 5 mois
Palaiseau, France Ile de France Temps pleinRéf. 23-13530 Adjoints techniques territoriaux des établissements d'enseignement Grade : Adjoint technique territorial (EPLE) Catégorie : C La Région Île-de-France recrute pour le lycée LGT LYCEE NEUF - 19 Cours Pierre Vasseur - 91120 - PALAISEAU un ou une Agent ou Agente d'entretien général Nettoyer et entretenir les locaux et surfaces,...
-
Palaiseau, France CEA Temps pleinDescription de l'offre Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une...
-
Agent ou Agente D'entretien Général
Il y a 2 mois
Palaiseau, France Ile de France Temps pleinRéf. 24-5089 Adjoints techniques territoriaux des établissements d'enseignement Grade : Adjoint technique territorial (EPLE) Catégorie : C La Région Île-de-France recrute pour le lycée LGT LYCEE NEUF - 19 Cours Pierre Vasseur - 91120 - PALAISEAU un ou une Agent ou Agente d'entretien général La Région Ile-de-France gère 474 lycées en Ile de...
-
Palaiseau, France INRIA Temps pleinContexte et atouts du poste The Comete project team at the Inria Saclay Center specializes in security and privacy protection and has sixteen researchers ( Mission confiée The purpose of this position is to work with the COMETE research team to develop methods and software for estimating statistics from data protected with local...
-
Responsable Méthodes Maintenance Métro L18 F/H
il y a 3 semaines
Palaiseau, France Keolis Temps pleinLe Groupe Keolis est un acteur majeur du transport de voyageurs présent sur le territoire français et dans 13 pays à travers le monde. Dès octobre 2024, Keolis se mobilise pour préparer la première phase de mise en service de la lignes 18 du Grand Paris Express et la reprise de l’exploitation de la station Aéroport d’Orly fin 2026. Cette...
-
Phd Position F/m Sampling Method for Stratified
il y a 4 semaines
Palaiseau, France Inria Temps pleinLe descriptif de l’offre ci-dessous est en Anglais_ **Type de contrat **:CDD **Niveau de diplôme exigé **:Bac + 5 ou équivalent **Fonction **:Doctorant **Mission confiée**: In the context of non-destructive testing (NDT) of the civil engineering of EDF's nuclear and hydro power plants in operation, the challenges of extending the service life of...
-
Agent de restauration
il y a 4 semaines
Palaiseau, Île-de-France Region Ile de France Temps pleinMissions principalesAppliquer les règles d’hygiène et de sécurité pour produire des repas de qualité.Effectuer les tâches préalables à la production, telles que la préparation des produits de base et des matériels de cuisine.Préparer, assembler et dresser les plats simples, tels que les entrées et les desserts.Surveiller la cuisson des plats si...
-
Palaiseau, France INRIA Temps pleinContexte et atouts du poste Ce projet de thèse se situe à l’interface de plusieurs domaines des mathématiques appliquées : étude des équations aux dérivées partielles à coefficients stochastiques, problèmes inverses, analyse et simulation numé- rique. L’équipe d’encadrement regroupe les compétences dans chacune des dif- férentes...
-
Ingénieur en conception de systèmes aérospatiaux avancés
il y a 4 semaines
Palaiseau, Île-de-France ONERA Temps pleinMissions et ResponsabilitésL'ONERA recherche un ingénieur en conception multidisciplinaire de systèmes aérospatiaux pour renforcer la compétence de recherche dans l'équipe M2CI. Les principales missions sont :Développer des méthodes numériques pour la conception multidisciplinaire, en lien avec les chercheurs de l'équipe.Identifier les besoins et...
-
Deep Learning Methods to Improve 3D Gaussian
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Deep Learning methods to improve 3D Gaussian Splatting training H/F **Sujet de stage**: [1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view...
-
Optimisation de l'IA
il y a 5 jours
Palaiseau, France CEA Temps pleinDescription de l'offre L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle ViT de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des...
-
Ingénieur Méthode et Etude de Prix
Il y a 6 mois
Palaiseau, France SOCOTEC Temps pleinDescription de l'entreprise Let's SOCOTEC your potential ! Leader dans son secteur, SOCOTEC est le seul groupe international 100% dédié, depuis 70 ans, à la gestion des risques et au conseil technique dans la construction, l’immobilier et les infrastructures. Pour accompagner sa croissance, SOCOTEC recrute 1500 nouveaux collaborateurs en 2024. ...
-
Stagiaire Ingénieur Data Scientist
il y a 4 semaines
Palaiseau, France Groupe SAVENCIA Temps pleinSoredab est le Centre de Recherche et d'Innovation du Groupe Savencia. Sa mission est de contribuer à la vocation de Savencia « Entreprendre pour bien nourrir l'homme en servant le bien commun ». Nous intervenons sur l'ensemble des disciplines scientifiques et technologiques impactantes dans le domaine agroalimentaire.Résumé du stage : Le Groupe...
