Peut-on Appliquer Une Méthode de Réduction Des
Il y a 3 mois
Description du poste
**Domaine**:
- Systèmes d'information
**Contrat**:
- Stage
**Intitulé de l'offre**:
- Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F
**Sujet de stage**:
- Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant
des performances de pointe dans une large gamme de tâches, telles que la classification d'images,
la segmentation, l'estimation de profondeur, la détection d'objets et l'analyse du flux optique.
Cependant, leurs exigences élevées en termes de calcul et de mémoire restent des obstacles
importants à leur déploiement en temps réel et dans des environnements aux ressources limitées.
Pour relever ces défis, les techniques de réduction des modèles sont essentielles, offrant un moyen
de diminuer la complexité tout en préservant les performances.
Ce stage vise à développer une stratégie polyvalente et efficace de réduction des tokens pour
optimiser les performances des modèles ViT sur diverses tâches, tout en réduisant la charge
où précision et efficacité sont cruciales.
**Durée du contrat (en mois)**:
- 6 mois
**Description de l'offre**:
- L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des tokens, développée dans notre laboratoire pour la segmentation sémantique [1]. Cette méthode combine la fusion des tokens, qui réduit le nombre de tokens à traiter par le transformeur, avec une stratégie de sortie anticipée, permettant au modèle de stopper les calculs lorsque les couches intermédiaires atteignent un niveau de confiance suffisant. Le principal objectif de ce travail est d'évaluer l'efficacité de cette méthode sur diverses tâches et d'explorer les optimisations potentielles pour la fusion des tokens. Sur la base de ces évaluations, nous visons à déterminer si le système actuel de réduction des tokens hybride est suffisant pour maintenir les performances sur toutes les tâches ou si des modifications spécifiques à chaque tâche sont
nécessaires.- Dans ce contexte, les objectifs du stage sont les suivants:
- Réaliser une étude des techniques de fusion des tokens, en soulignant les principaux aspects à considérer, tels que les facteurs influençant les décisions de fusion (par exemple, l'importance des tokens et la complexité des tâches), et en explorant comment optimiser ces facteurs pour une large gamme de tâches ;
- Intégrer des têtes adaptées aux tâches de prédiction dense comme l'estimation de profondeur, la détection d'objets, la segmentation d'instances ou l'analyse du flux optique ;
- Mise en oeuvre sur une puce embarquée de type NVIDIA Jetson Orin ;
- Évaluer la technique d'optimisation des tokens sur d'autres backbones, tels que les modèles de fondation comme DinoV2 [2] ou SAM (Segment Anything Model) [3] ;
- Effectuer des tests de benchmarking (FPS, mIOU, Params, MACC, FLOPS) pour évaluer les capacités de généralisation du modèle de réduction des tokens.
- Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.- Références:
- [1] Proust, M., Poreba, M., Galagain, C., Szczepanski, M., Haroun, K., Optimizing Vision Transformers for Edge Deployment: Hybrid Token Reduction for Efficient Semantic Segmentation, European Conference on EDGE AI Technologies and Applications EEIA24, Cagliari, Sardaigne, Italie (en cours de soumission)
[2] Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., Fernandez, P., Haziza, D., Massa, F., El-Nouby, A., et al., Dinov2: Learning robust visual features without supervision, arXiv:2304.07193, 2023.
[3] Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A.C., Lo, W., Dollár, P., & Girshick, R.B. (2023). Segment Anything. 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 3992-4003.**Moyens / Méthodes / Logiciels**:
- Langage C/C++, Python, IA, traitement d'image, Linux
- Formation : Ingénieur/Master - Bac+5
- Bon niveau d'anglais (B2 ou plus)
- Spécialisation en réseau ou intelligence artificielle
- Connaissance d’architectures de réseaux de neurones
- Bon niveau en programmation (principalement Python)
- Une expérience en embarqué serait un plus
Localisation du poste
**Site**:
- Saclay
**Localisation du poste**:
- France, Ile-de-France, Essonne (91)
**Ville**:
- Palaiseau
**Langues**:
- Anglais (Intermédiaire)
- Français (Intermédiaire)
**Diplôme préparé**:
- Bac+5 - Master 2
**Formation recommandée**:
- Ingénieur/Master
**Possibilité de poursuite en thèse**:
- Oui
Dema
-
Peut-on Appliquer Une Méthode de Réduction Des
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...
-
Exploitation de La Sparsité Pour La Réduction de
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT **Sujet de stage**: - Exploitation de sparsité par compression de matrice sur des modèles Transformer **Durée du contrat (en mois)**: -...
-
Optimisation de L'ia
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués **Sujet de stage**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches? **Durée du contrat (en mois)**: - 6...
-
Agent ou Agente D'entretien Général
il y a 1 semaine
Palaiseau, France Ile de France Temps pleinRéf. 22-13526 Adjoints techniques territoriaux des établissements d'enseignement Grade : Adjoint technique territorial (EPLE) Catégorie : C La direction du développement et de l'accompagnement des ressources humaines lycées (DDARHL) recrute pour le lycée LGT LYCEE NEUF - 19 Cours Pierre Vasseur - 91120 - PALAISEAU un(e) Agent ou Agente d'entretien...
-
Agent ou Agente D'entretien Général
Il y a 3 mois
Palaiseau, France Ile de France Temps pleinRéf. 24-5089 Adjoints techniques territoriaux des établissements d'enseignement Grade : Adjoint technique territorial (EPLE) Catégorie : C La Région Île-de-France recrute pour le lycée LGT LYCEE NEUF - 19 Cours Pierre Vasseur - 91120 - PALAISEAU un ou une Agent ou Agente d'entretien général La Région Ile-de-France gère 474 lycées en Ile de...
-
Phd Position F/m Sampling Method for Stratified
Il y a 2 mois
Palaiseau, France Inria Temps pleinLe descriptif de l’offre ci-dessous est en Anglais_ **Type de contrat **:CDD **Niveau de diplôme exigé **:Bac + 5 ou équivalent **Fonction **:Doctorant **Mission confiée**: In the context of non-destructive testing (NDT) of the civil engineering of EDF's nuclear and hydro power plants in operation, the challenges of extending the service life of...
-
Deep Learning Methods to Improve 3D Gaussian
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Deep Learning methods to improve 3D Gaussian Splatting training H/F **Sujet de stage**: [1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view...
-
Cdd Postdoc
il y a 3 jours
Palaiseau, France INSTITUT DE RECHERCHE TECHNOLOGIQUE SYSTEM X Temps pleinDescriptif du poste Dans le contexte des transitions contemporaines, les filières industrielles et les disciplines scientifiques bien établies sont confrontées à des bouleversements profonds qui prennent place à un rythme inédit. Les acteurs historiques de ces filières et disciplines sont eux-mêmes appelés à se transformer, à acquérir de...
-
Cdd Post-doc Sur L Autopsie de L'ia
il y a 4 jours
Palaiseau, France INSTITUT DE RECHERCHE TECHNOLOGIQUE SYSTEM X Temps pleinDescriptif du poste Face aux différents incidents techniques et sociaux posés par l'IA, ces dernières années ont connu la naissance d un certain nombre de communautés académiques en IA pour traiter le problème de l'interprétabilité ou de l'équité des algorithmes. Cependant les méthodes qui en sont issues rencontrent des limites. Bien qu'il...
-
Agent ou Agente de Restauration
Il y a 6 mois
Palaiseau, France Ile de France Temps pleinRéf. 24-5895 Adjoints techniques territoriaux des établissements d'enseignement Grade : Adjoint technique territorial (EPLE) Catégorie : C La Région Île-de-France recrute pour le lycée HENRI POINCARE - 36 rue Léon Bourgeois - 91120 - PALAISEAU un ou une Agent ou Agente de restauration La Région Ile de France gère 474 lycées sur les 8...
-
Pentester
Il y a 7 mois
Palaiseau, France ORASYS Temps plein**Descriptif du poste**: Vous réaliserez différents types d’audit et tests d’intrusion sur tout ce qui peut s’approcher de prêt ou de loin à un SI. Vous vous appuirez sur les méthodologies d’Orasys et serez force de proposition pour les enrichir. - Identification et exploitation de failles - Analyse et contextualisation des risques - Rédaction...
-
Post Doctorant
Il y a 7 mois
Palaiseau, France ECOLE NATIONALE SUPERIEURE DE TECHNIQUES AVANCEES Temps plein**Contexte****: Plus ancienne école d’ingénieurs de France, ENSTA Paris est un établissement d’enseignement supérieur et de recherche sous tutelle du ministère des Armées qui a pour mission la formation d’élèves ingénieurs de haut niveau, d’étudiants de masters, de doctorants ainsi que la conduite d’activités de recherche au service des...
-
Dessinateur Projeteur Mécanique H/F
Il y a 3 mois
Palaiseau, France FED ENGINEERING Temps pleinPoste : Malick, consultant en recrutement pour FED Engineering, recherche pour son client, PME française, appartenant à un groupe de 4 sociétés à rayonnement international et qui propose aux industriels des solutions techniques d'isolation acoustique et de traitement aéraulique, un Dessinateur Projeteur F/H pour une mission...
-
Apprenti Rse
Il y a 7 mois
Palaiseau, France ECOLE NATIONALE SUPERIEURE DE TECHNIQUES AVANCEES Temps pleinPlus ancienne école d’ingénieurs de France, ENSTA Paris est un établissement d’enseignement supérieur et de recherche sous tutelle du ministère des Armées qui a pour mission la formation d’élèves ingénieurs de haut niveau, d’étudiants de masters, de doctorants ainsi que la conduite d’activités de recherche au service des grands domaines...
-
Ingénieur en systèmes d'information et sécurité aérospatiale h/f
il y a 22 heures
Palaiseau, Île-de-France ONERA Temps pleinL'ONERA, premier acteur de la recherche aéronautique et spatiale en France, recrute un ingénieur pour renforcer son équipe.MissionL'ingénieur assurera un rôle clé dans le développement de méthodes de conception multidisciplinaire (MDAO) pour les systèmes de défense ou de rentrée. Ses missions principales seront les suivantes :Conception...
-
Greffier (H/F)
il y a 1 mois
Palaiseau, France Ministère de la Justice Temps plein**Devenir greffier, c’est**: - Exercer un métier à responsabilités, aux missions variées, indispensable à la société ; - Accéder à une formation de 18 mois rémunérée, composée majoritairement de stages sur le terrain ; - Embrasser une carrière aux multiples possibilités d’évolution. - Vous avez jusqu’au 10 janvier 2025 pour vous...
-
Modèles de Diffusion Pour La Robustesse en Machine
Il y a 2 mois
Palaiseau, France IRT SystemX Temps plein**Contexte du stage**: Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs...
-
Commis de Cuisine
Il y a 4 mois
Palaiseau, France LIVING-ROOM Temps pleinAu sein d'un restaurant semi-gastronomique vous intégrerez une équipe soudée, jeune et passionnée. La société PLS recrute pour son restaurant Le LIVING-ROOM situé à Palaiseau (91), en plein cœur du plateau de Saclay, un commis de cuisine H/F. Missions et activités principales: - Participer à l'élaboration et à la présentation des plats. -...
-
Stage Contribution à La Conception D'une Maquette
Il y a 3 mois
Palaiseau, France EDF Temps pleinMise en ligne le 19/10/2024 Principales caractéristiques de l'offre d'emploi - Type de contrat: - Stage - Niveau de formation: - BAC +4 / BAC +5 - Spécialité(s): - Ingénierie / Expertise / Recherche - Pays / Région: - France / Ile-de-France - Département: - Essonne (91) - Ville: - 7 bOULEVARD GASPARD MONGE 91120 - EDF est labellisé Happy...
-
Stage Sur La Modélisation Renforcée Par
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Stage sur la modélisation renforcée par apprentissage H/F **Sujet de stage**: - Apprentissage de modèles qualitatifs par analyse de sensibilité **Durée du contrat (en mois)**: - 6 **Description de...
