Optimisation de l'IA
il y a 3 jours
Description de l'offre
L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle ViT de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des tokens, développée dans notre laboratoire pour la segmentation sémantique. Cette méthode combine la fusion des tokens, qui réduit le nombre de tokens à traiter par le transformeur, avec une stratégie de sortie anticipée, permettant au modèle de stopper les calculs lorsque les couches intermédiaires atteignent un niveau de confiance suffisant. Le principal objectif de ce travail est d'évaluer l'efficacité de cette méthode sur diverses tâches et d'explorer les optimisations potentielles pour la fusion des tokens. Sur la base de ces évaluations, nous visons à déterminer si le système actuel de réduction des tokens hybride est suffisant pour maintenir les performances sur toutes les tâches ou si des modifications spécifiques à chaque tâche sont
nécessaires.
Dans ce contexte, les objectifs du stage sont les suivants :
Réaliser une étude des techniques de fusion des tokens, en soulignant les principaux aspects à considérer, tels que les facteurs influençant les décisions de fusion (par exemple, l'importance des tokens et la complexité des tâches), et en explorant comment optimiser ces facteurs pour une large gamme de tâches ; Intégrer des têtes adaptées aux tâches de prédiction dense comme l'estimation de profondeur, la détection d'objets, la segmentation d'instances ou l'analyse du flux optique ; Mise en oeuvre sur une puce embarquée de type NVIDIA Jetson Orin ; Évaluer la technique d'optimisation des tokens sur d'autres backbones, tels que les modèles de fondation comme DinoV2 ou SAM (Segment Anything Model) ; Effectuer des tests de benchmarking (FPS, mIOU, Params, MACC, FLOPS) pour évaluer les capacités de généralisation du modèle de réduction des tokens.Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
#IA#transformeur#ViT#pruning#optimisation#segmentation#détection#multitâche#embarqué#
Moyens / Méthodes / Logiciels
Langage C/C++, Python, IA, traitement d'image, Linux
Profil du candidat
Formation : Ingénieur/Master – Bac+5 Bon niveau d'anglais (B2 ou plus) Spécialisation en réseau ou intelligence artificielle Connaissance d’architectures de réseaux de neurones Bon niveau en programmation (principalement Python) Une expérience en embarqué serait un plus-
Optimisation de L'ia
il y a 1 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués **Sujet de stage**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches? **Durée du contrat (en mois)**: - 6...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 3 mois
Palaiseau, France Thales Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 3 mois
Palaiseau, Essonne, France Thales Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 3 mois
Palaiseau, France Thales Temps pleinQUI SOMMES-NOUS ? Situé sur le campus de l’École polytechnique, au cœur du pôle scientifique et technologique d’envergure mondiale de Paris-Saclay, à Palaiseau, Thales Research & Technology (TRT) France constitue le centre de recherche et technologies français du Groupe Thales, au service des activités mondiales de Thales. Grâce à une...
-
Palaiseau, Île-de-France Thales Temps pleinRejoignez Thales, un leader mondial dans les technologies de défense et de sécurité, et rejoignez notre équipe de recherche et développement.Description du posteL'ingénieur de recherche en optimisation avancée et Intelligence Artificielle travaillera sur des projets axés sur l'optimisation de processus complexes et la mise au point...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 2 mois
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Stage de Fin D'études en Optimisation de L'ia Pour
il y a 3 semaines
Palaiseau, France CEA Temps pleinPosition description **Category**: - Engineering science **Contract**: - Internship **Job title**: - Stage de fin d'études en optimisation de l'IA pour l'obtention d'un Master 2 ou diplôme d'ingénieur H/F **Subject**: - Combine Token Pruning and Mixed Precision - A Dual Strategy for Efficient Vision Transformers **Contract duration (months)**: -...
-
Palaiseau, Île-de-France Thales Temps pleinDescription du poste Nous recherchons un ingénieur de recherche en optimisation boite noire et intelligence artificielle pour rejoindre notre équipe de recherche et développement à Thales. Responsabilités Développer des solutions métier basées sur des techniques d'intelligence artificielle et de recherche opérationnelle, en particulier...
-
Responsable de Laboratoire Optimisation Et
Il y a 2 mois
Palaiseau, France Thales Temps plein**QUI SOMMES-NOUS ?** **Construisons ensemble un avenir de confiance** Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus...
-
Stage - Modélisation Et Optimisation
Il y a 2 mois
Palaiseau, France Thales Temps plein**QUI SOMMES-NOUS ?** **Construisons ensemble un avenir de confiance** Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus...
-
Palaiseau, Île-de-France Thales Temps pleinQui sommes-nous ? Thales Research & Technology (TRT) France est le centre de recherche et technologies français du Groupe Thales, situé sur le campus de l'Ecole polytechnique à Palaiseau. Nous avons pour mission de proposer des innovations de rupture aux entités opérationnelles du groupe. Les activités de TRT France se situent dans le domaine de...
-
Palaiseau, France CEA Temps pleinDescription de l'offre Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Chef de Laboratoire d'Optimisation et Décision
il y a 3 semaines
Palaiseau, Île-de-France THALES Temps pleinVotre rôle dans l'équipe Thales recherche un Responsable du Laboratoire d'Optimisation et Décision pour rejoindre son équipe à Palaiseau Qui sommes-nous ? Thales, un leader mondial des hautes technologies, est spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité...
-
Palaiseau, France CEA Temps pleinPosition description Category Engineering science Contract Internship Job title Stage de fin d'études en optimisation de l'IA pour l'obtention d'un Master 2 ou diplôme d'ingénieur H/F Subject Combine Token Pruning and Mixed Precision - A Dual Strategy for Efficient Vision Transformers Contract duration (months) 6 ...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Ingénieur de Recherche en IA pour le Réseau
Il y a 5 mois
Palaiseau, France CEA Temps pleinDescription de l'offre « Rejoignez le CEA pour donner du sens à votre activité, mener et soutenir des projets de R&D nationaux et internationaux, cultiver et faire vivre votre esprit d'innovation. » CE QUE LE CEA VOUS PROPOSE : Le CEA recherche un(e) Ingénieur de Recherche en IA pour le Réseau pour la CEA/DRT (Direction de...
-
Palaiseau, Île-de-France CEA Temps pleinPrésentation de l'offreL’identification automatique des radionucléides à partir de mesures spectroscopiques constitue un aspect clé dans diverses applications nucléaires telles que la prévention du trafic illicite de matières nucléaires, l'analyse de données expérimentales en situation de crise radiologique ou encore le démantèlement des...
-
Responsable de Laboratoire Optimisation et Décision
il y a 3 semaines
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
