Méthodes avancées pour l'optimisation des réseaux neuronaux Transformers H/F
il y a 5 jours
Description de l'offre
Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une large gamme de tâches en aval avec un fine-tuning minimal. Ils présentent des performances très élevées ainsi que des propriétés particulièrement intéressantes pour l’apprentissage et leur mise en œuvre, notamment dans le domaine vision. Malgré toutes ces caractéristiques innovantes, la question de l’optimisation et du déploiement de ce modèle dans le domaine de l’embarqué, où les ressources de calcul et la mémoire sont limitées, reste ouverte.
L’objectif de ce stage est donc d'identifier ou de concevoir des méthodes avancées d'optimisation de ces modèles, en tenant en compte des contraintes inhérentes aux environnements embarqués. Cela pourrait inclure la réduction de la complexité algorithmique par exemple en remplaçant des opérations quadratiques couteuses par des alternatives linéaires [2] ou en optimisant la complexité du calcul en substituant certaines opérations telles que la multiplication par des méthodes moins gourmandes [3]. En plus de ces optimisations structurelles, le stage vise à évaluer la compatibilité de ces améliorations avec le matériel embarqué, en tenant en compte de divers paramètres tels que les besoins en mémoire, la complexité de calcul, la consommation énergétique ainsi que les contraintes de latence. L'un des principaux enjeux est de s'assurer que les modèles optimisés peuvent s'exécuter efficacement sur des architectures matérielles spécifiques tout en préservant une précision et une robustesse suffisantes.
Dans ce contexte, vous rejoindrez une équipe projet spécialisée dans analyse et l’optimisation matérielle de réseaux neuronaux, avec pour objectif d'accélérer leur déploiement pour des applications de perception.
Vos principales missions seront :
· Mettre en œuvre le modèle du ViT sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée des aspects tels que la hiérarchie mémoire, la complexité calculatoire, la vitesse d’exécution, la précision ;
· Identifier les limitations et les contraintes spécifiques du modèle pour l’inférence matérielle sur des plateformes embarquées à ressources contraintes ;
· Identifier et analyser les mécanismes d’optimisation applicables aux différentes couches du modèle, notamment la linéarisation et le remplacement d'opérateurs ;
· Optionnellement, si le temps et les résultats le permettent, déployer le modèle optimisé sur un processeur embarqué (p.ex. NVIDIA Orin, Raspberry Pi, STM32) en veillant à ce qu’il soit compatible avec les ressources disponibles.
Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années
Moyens / Méthodes / Logiciels
Linux / Windows, Python / C++, Server + NVIDIA GPU A100
Profil du candidat
Le candidat doit être motivé, curieux, intéressé par la recherche sur les réseaux neuronaux et l'IA, et disponible de s'intégrer et de collaborer avec ses collègues.
Compétences requises: Connaissance de programmation d'un bon niveau de Python et/ou C++; un peu d'expériences avec Pytorch et les réseaux neuronaux.
Compétences en plus : Connaissance des méthodes pour le traitement d’image, d’optimisation et du matériel embarqué.
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
-
Palaiseau, Île-de-France CNRS Temps pleinPostdoctorat en méthodes ensemblistes pour la vérification de réseaux de neuronesMissionsLe chercheur postdoctoral contribuera à la tâche 3.1 (Au-delà de la robustesse de la classification locale) et à la tâche 2.3 (Architectures de réseaux neuronaux avancées) du projet SAIF (Sécurité de l'IA par des méthodes formelles) du PEPR...
-
Palaiseau, France CNRS Temps pleinInformations générales Intitulé de l'offre : Postdoctorat Méthodes ensemblistes pour la vérification de réseaux de neurones (H/F) Référence : UMR7161-SYLPUT-001 Nombre de Postes : 1 Lieu de travail : PALAISEAU Date de publication : lundi 21 octobre 2024 Type de contrat : CDD Scientifique Durée du contrat : 24 mois Date d'embauche prévue : 1...
-
Palaiseau, Île-de-France Thales Temps pleinRejoignez Thales, un leader mondial dans les technologies de défense et de sécurité, et rejoignez notre équipe de recherche et développement.Description du posteL'ingénieur de recherche en optimisation avancée et Intelligence Artificielle travaillera sur des projets axés sur l'optimisation de processus complexes et la mise au point...
-
Palaiseau, France CEA Temps pleinDescription de l'offre Dans ce cadre, l’objectif de ce stage est d’implémenter une application type Transformers sur l’architecture PNeuro. Un des enjeux importants de cette partie est l’allocation des calculs aux processeurs élémentaires de sorte à atteindre les meilleures performances de calcul (OPC : opérations par cycle), tout en...
-
Mapping & Scheduling de Transformers Sur Un
il y a 1 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Composants et équipements électroniques **Contrat**: - Stage **Intitulé de l'offre**: - Mapping & Scheduling de Transformers sur un Accélérateur Neuronal programmable H/F **Sujet de stage**: - Dans le domaine passionnant de la conception d'architecture matérielle et de l'optimisation des solutions de calcul...
-
Spécialiste en Architecture de Réseaux Avancée au CEA
il y a 3 semaines
Palaiseau, Île-de-France CEA Temps pleinPrésentation du CEA Le CEA (Commissariat à l'Énergie Atomique et aux Énergies Alternatives) est un organisme public français à caractère industriel et commercial, placé sous la tutelle conjointe des ministres chargés de la Défense et de l'Énergie. L'un des objectifs principaux du CEA est de développer les connaissances...
-
Palaiseau, Île-de-France CNRS Temps pleinInformations généralesTitre de l'offre : Doctorant H/F en Atteignabilité de propriétés quantifiées pour l'explicabilité de l'intelligence artificielleRéférence : UMR7161-SYLPUT-003Nombre de postes : 1Lieu de travail : PALAISEAUType de contrat : CDD Doctorant/Contrat doctoralDurée du contrat : 36 moisQuotité de travail : Temps completRémunération...
-
Optimisation de l'IA
il y a 5 jours
Palaiseau, France CEA Temps pleinDescription de l'offre L'objectif de ce stage est d'identifier une solution généralisable permettant au modèle ViT de bien performer sur plusieurs tâches, tout en minimisant le compromis entre la performance, la complexité du modèle et l'efficacité des ressources. Plus précisément, ce stage s'appuiera sur une approche hybride de réduction des...
-
Doctorant Sur La Robustesse Par Construction Pour
Il y a 5 mois
Palaiseau, France annoncesAtlas Temps pleinQUI SOMMES-NOUS ? Situé sur le campus de l'École polytechnique, au cœur du pôle scientifique et technologique d'envergure mondiale de Paris-Saclay, à Palaiseau, Thales Research & Technology (TRT) France constitue le centre de recherche et technologies français du Groupe Thales, au service des activités mondiales de Thales. Grâce à une politique de...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Optimisation de L'ia
il y a 1 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Autre **Contrat**: - Stage **Intitulé de l'offre**: - Optimisation de l'IA : pruning de Vision Transformers pour les systèmes embarqués **Sujet de stage**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches? **Durée du contrat (en mois)**: - 6...
-
Peut-on Appliquer Une Méthode de Réduction Des
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...
-
Peut-on Appliquer Une Méthode de Réduction Des
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...
-
PostDoc: Co-design strategy
Il y a 6 mois
Palaiseau, France CEA Temps pleinDescription de l'offre Sujet PostDoc en Intelligence Artificielle pour les systèmes embarqués Stratégie de co-conception pour l'exploitation de la sparsité spatio-temporelle dans les réseaux de neurones Transformer à l'inférence et à l'apprentissage L'objectif du PostDoc est d'identifier, d'analyser et d'évaluer les mécanismes de modulation...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 3 mois
Palaiseau, Essonne, France Thales Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Ingénieur de recherche en optimisation boite noire et IA
Il y a 3 mois
Palaiseau, France Thales Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Postdoctoral Researcher for Ensemble Methods in Network Verification
il y a 3 semaines
Palaiseau, Île-de-France CNRS Temps pleinOutils de travail Le postdoctorant contribuera à l'avancement des méthodes ensemblistes pour la vérification de réseaux de neurones dans le cadre du projet SAIF (Sécurité de l'IA par des méthodes formelles) du PEPR IA. Les objectifs principaux de ce poste sont l'étude des propriétés de robustesse généralisées des réseaux de...
-
Étude Et Optimisation de La Consommation
Il y a 2 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Étude et optimisation de la consommation énergétique des systèmes blockchain H/F **Sujet de stage**: - Contexte: La technologie blockchain, bien qu'innovante pour les interactions numériques...
-
Consultant/ Manager/ Senior Manager/ Directeur
Il y a 2 mois
Palaiseau, France Upward Consulting Temps pleinConsultant/ Manager/ Senior Manager/ Directeur (H/F) | Transformation digitale Type de structure Cabinets de conseil Niveau de séniorité Plus de 2 ans Nos clients et les opportunitésNos clients sont des cabinets de conseil en organisation, intervenant sur divers secteurs et auprès des clients de différents horizons. Nous recherchons pour eux des...
-
Palaiseau, France ONERA Temps pleinA propos de l'entreprise : L'ONERA, acteur central de la recherche aéronautique et spatiale, emploie plus de 2000 personnes. Placé sous la tutelle du ministère des Armées, il dispose d'un budget de 289 millions d'euros (2023), dont plus de la moitié provient de contrats d'études, de recherche et d'essais. Expert étatique, l'ONERA prépare la...
