Transformers Pour Une Vision Multimodale Efficace
il y a 1 mois
**Transformers pour une vision multimodale efficace des systèmes autonomes // Efficient Multimodal Vision Transformers for autonomous Systems**:
- Réf **ABG-126361**
**ADUM-59375**
- Sujet de Thèse- 20/10/2024- Université Paris-Saclay GS Sciences de l'ingénierie et des systèmes- Lieu de travail- Evry Cedex - France- Intitulé du sujet- Transformers pour une vision multimodale efficace des systèmes autonomes // Efficient Multimodal Vision Transformers for autonomous Systems- Mots clés- Vision transformers, Vision multimodale, Segmentation, Détection et reconnaissance d'objets, Pruning, Edge AI
Vision transformers, Multimodal vision, Segmentation, Object recognition and detection, Pruning, Edge AI**Description du sujet**:
- Les transformer de vision (ViT) se sont révélés être des outils puissants pour le traitement et la compréhension des informations visuelles. Ils sont largement utilisés dans diverses tâches de vision par ordinateur, telles que la classification, la détection, la segmentation, le suivi, surpassant souvent les réseaux neuronaux convolutionnels traditionnels (CNN) en termes de précision. ViT a recours à un pipeline spécifique dans lequel l'image d'entrée est divisée en fragments plus petits appelés tokens. Une telle approche aide considérablement les algorithmes à comprendre le contexte visuel. Dans la pratique, la tokenisation et la sélection des embeddings sont des étapes cruciales pour les transformers. En effet, pour une image donnée, il n'existe pas d'approche unique de la tokenisation, car la méthode la plus appropriée peut varier en fonction des caractéristiques des données et de la tâche à accomplir.
La thèse proposée porte sur l'optimisation des ViT multimodaux, taillés pour des tâches de vision telles que la segmentation sémantique ou la détection d'objets sur des systèmes à ressources limitées. Dans ce travail de recherche, le terme multimodal se réfère spécifiquement à la fusion de diverses données visuelles telles que les images RGB, infrarouges, cartes de profondeur ou LiDAR, via des modèles de transformer. Il est important de noter que l'efficacité et l'adéquation du ViT peuvent être considérablement entravées par les complexités en termes de temps et de mémoire, qui augmentent de façon quadratique avec la longueur de la séquence d'entrée. Dans le contexte des données multimodales, la complexité des calculs augmente en raison du traitement simultané de représentations de grande dimension. L'objectif principal est donc d'accélérer la vitesse d'inférence tout en préservant la précision des ViTs multimodales sur les systèmes embarqués.
Les systèmes embarqués posent des défis techniques spécifiques, notamment le stockage limité des données, la capacité de traitement et la consommation d'énergie, qui doivent tous être pris en compte dès la conception de l'algorithme. Deux aspects principaux seront examinés dans le cadre de cette étude:
1) le pruning des tokens pour identifier et supprimer dynamiquement les tokens non informatifs
2) la fusion de données multimodales, où les tokens peuvent être remplacés par des caractéristiques multimodales.
Une nouvelle approche de la compression des transformers multimodaux de vision qui améliore leur efficacité est attendue. Par conséquent, l'identification de tokens informatifs pour la projection et la fusion multimodales, ainsi que les ajustements architecturaux possibles ou le réglage fin des paramètres d'optimisation, seront des domaines d'exploration approfondie. L'efficacité de la solution proposée sera démontrée par des expériences approfondies menées sur des cibles embarquées, notamment le NVIDIA Jetson AGX Orin.
The proposed thesis addresses the optimization of multimodal ViTs, tailored for vision tasks like semantic segmentation or object detection on resource-constrained systems. In this research work, the term multimodal specifically refers to the fusion of various visual data including RGB, Infrared, depth, or LiDAR images, through transformer models. It is important to note that the efficiency and applicability of ViT are often constrained by the time and memory complexities, which grow quadratically with the input sequence length. In the context of multimodal data, computational complexity increases due to the simultaneous handling of high dimension representations. The primary aim is to accelerate inference speed while preserving the accuracy of multimodal ViTs on embedded systems.
Embedded systems pose unique technical challenges including limited data storage, processing ability and energy consumption, all of which must be considered in algorithm design. The study will explore two main aspects:
1) token pruning to dynamically identify and remove uninformative tokens
2) multimodal data fusion, where tokens can be replaced with cross-modal features.
The expected result is a novel approach to compression of multimodal vision tra
-
Coordinateur-trice Projets Stratégie Industrielle
Il y a 2 mois
Évry (91), France Safran Temps plein**Description du poste**: Dans le cadre de sa stratégie industrielle, le Centre d'Excellence Industrielle (CEI) « Support et moyens industriels » de Safran Aircraft Engines (SAE) s'est engagé dans des projets d'amélioration de sa performance pour une meilleure satisfaction de ses clients. Parmi ces projets figurent: - La transformation digitale,...
-
Coordinateur-trice Projets Stratégie Industrielle
Il y a 2 mois
Évry (91), France I - DIRECTION INDUSTRIELLE & SUPPLY CHAIN Temps pleinI - DIRECTION INDUSTRIELLE & SUPPLY CHAIN recrute: Safran est un groupe international de haute technologie opérant dans les domaines de l'aéronautique (propulsion, équipements et intérieurs), de l'espace et de la défense. Sa mission : contribuer durablement à un monde plus sûr, où le transport aérien devient toujours plus respectueux de...
-
Aide-soignant Freelance
Il y a 2 mois
Évry (91), France Smart Sante Conseil Temps plein**Description de l'entreprise**: **Smart Santé Conseil** accompagne les structures de santé dans leurs projets de transformation stratégique, organisationnelle ou réglementaire. Nous sommes spécialisés dans le secteur **Santé**. Nos Experts Santé et nos Consultants Stratégie, travaillent conjointement sur chacun de nos projets, afin de répondre le...
-
Évry, Île-de-France Safran Aircraft Engines Temps pleinPrésentation de l'entrepriseSafran Aircraft Engines est un acteur majeur dans l'industrie aéronautique, proposant des solutions innovantes pour les moteurs d'avion.SalaireLe salaire prévisionnel pour ce poste est compris entre 55000 et 75000 € par an.Description du posteVous êtes à la recherche d'un défi excitant qui vous permettra de faire...
-
Stage - Assistant de Gestion Financière (F/H) 4
Il y a 2 mois
Évry (91), France IKEA Temps plein**Job ID**: 257859 **Date posted**: 18/09/2024 **Qui tu es** IKEA, leader international de solutions d’aménagement de la maison, poursuit depuis plus de 40 ans son développement en France avec toujours la même vision : « améliorer le quotidien du plus grand nombre ». Animés par notre culture et nos valeurs, nous sommes passionnés par la vie à...
-
Chargé de Service Après-vente Au Centre de
Il y a 3 mois
Évry (91), France IKEA Temps plein**Job ID**: 230888 **Date posted**: 24/08/2024 **Qui tu es** IKEA, leader international de solutions d’aménagement de la maison, poursuit depuis plus de 40 ans son développement en France avec toujours la même vision : « améliorer le quotidien du plus grand nombre ». Animés par notre culture et nos valeurs, nous sommes passionnés par la vie à...
-
Chef de projet PMO
il y a 4 semaines
Évry, Île-de-France Savane Consulting Temps pleinNous recherchons un Chef de projet PMO expérimenté pour intégrer un programme de transformation dans le secteur de la défense. Le candidat idéal dispose d'au moins 8 ans d'expérience en tant que PMO ou chef de projet et est capable de simplifier les sujets et d'être force de proposition. Les activités principales incluent la gestion...
-
Commercial Itinérant Centre-nord
Il y a 2 mois
91000 Évry, France HALADJIAN Temps pleinLe groupe Haladjian est une ETI familiale française crée en 1962 spécialisée dans la Construction, les Mines et l’Industrie, regroupant 300 collaborateurs et opérant dans 18 pays. Notre mission : Cultiver l’indépendance de nos clients et œuvrer à une transformation durable et performante de leurs opérations de production. De l’extraction à...
-
Chef de projet PMO
il y a 4 semaines
Évry, Île-de-France Savane Consulting Temps pleinNous recherchons un PMO expérimenté pour intégrer un programme de mise en place d'une plateforme de données. Le candidat doit avoir au moins 8 ans d'expérience dans le secteur de la défense et être capable de gérer un portefeuille de projets complexes. Les activités principales incluent la gestion des projets, l'identification des risques et des...
-
Coordinateur-trice Projets Stratégie Industrielle F-H
il y a 4 semaines
Évry, France Safran Temps pleinJob Description Dans le cadre de sa stratégie industrielle, le Centre d'Excellence Industrielle (CEI) « Support et moyens industriels » de Safran Aircraft Engines (SAE) s'est engagé dans des projets d'amélioration de sa performance pour une meilleure satisfaction de ses clients. Parmi ces projets figurent : -La transformation digitale, incluant...
-
Consultant-e Technico-fonctionnel F-H F-H
il y a 4 semaines
Évry, France Safran Temps pleinJob Description Envie d'embarquer au sein de la Direction du Système d'Information ? C'est par ici ! Au sein de la Direction du Système d'Information de Safran Aircraft Engines composé de 380 collaborateurs, vous intégrerez la division ERP, Supply Chain et Qualité et plus précisément le déparement des solutions satellites sur les dommaines...
-
Consultant-e Technico-fonctionnel F-H
il y a 3 semaines
Évry, France Safran Aircraft Engines Temps pleinJob Description Envie d'embarquer au sein de la Direction du Système d'Information ? C'est par ici ! Au sein de la Direction du Système d'Information de Safran Aircraft Engines composé de 380 collaborateurs, vous intégrerez la division ERP, Supply Chain et Qualité et plus précisément le déparement des solutions satellites sur les dommaines...
-
STAGE - Ingénieur Informatique - Création d'un SharePoint F-H
il y a 3 semaines
Évry, France Safran Aircraft Engines Temps pleinJob Description Intégré(e) au sein du Service Procédés Spéciaux de la Direction Qualité Progrès et Transformation Digitale, le-la candidat(e) aura pour mission, dans le cadre de la migration vers SharePoint Online, de développer et implémenter un site SharePoint. Le-la candidat(e) travaillera en étroite collaboration avec notre équipe et...
-
Ingénieur en industrialisation et référent outillage
il y a 6 jours
Évry, Île-de-France Safran Aircraft Engines Temps pleinRésumé du posteL'entreprise Safran Aircraft Engines est spécialisée dans la conception, la fabrication et l'entretien d'outillages pour les moteurs militaires. Le service des outillages militaires après-vente travaille avec des clients français et internationaux.Développement personnelVous serez chargé de piloter l'industrialisation...
-
Évry, France Safran Aircraft Engines Temps pleinJob Description Safran Aircraft Engines est engagé dans une forte dynamique d'utilisation du levier numérique afin de contribuer à l'atteinte de ses objectifs. Dans ce contexte de transformation digitale, la Direction Industrielle déploie un socle numérique intégré CAO, FAO, PLM (Product Lifecycle Management 3DEXPERIENCE) et MES (Manufacturing...
-
Directeur adjoint autonomie Evry
il y a 4 semaines
Évry, Île-de-France Département de l'Essonne Temps pleinMissions clés Le directeur adjoint autonomie assure la gestion quotidienne de la politique départementale de l'autonomie, en étroite collaboration avec la directrice de l'autonomie. Ses principales responsabilités incluent : Contribuer au pilotage organisationnel et à l'efficience de gestion, en consolidant les outils de pilotage et en...
-
Commercial itinérant Centre-Nord
Il y a 2 mois
Évry-Courcouronnes, France HALADJIAN Temps pleinLe groupe Haladjian est une ETI familiale française crée en 1962 spécialisée dans la Construction, les Mines et l’Industrie, regroupant 300 collaborateurs et opérant dans 18 pays.Notre mission : Cultiver l’indépendance de nos clients et œuvrer à une transformation durable et performante de leurs opérations de production. De l’extraction à la...
-
Chef de projet IT
il y a 2 semaines
Évry, Île-de-France Safran Aircraft Engines Temps pleinDescription du poste Découvrez l’opportunité de rejoindre notre équipe de chefs de projet au sein du département Transformation du Socle de la DSI Safran Aircraft Engines ! Présentation du poste Nous recherchons un chef de projet IT expérimenté pour renforcer notre équipe de gestion de projet. Vous serez chargé de la planification, de la...
-
Assistant RH spécialisé
il y a 2 semaines
Évry, Île-de-France Ikea Temps pleinQui sommes-nous ? Chez IKEA, nous sommes un leader international en solutions d'aménagement de la maison. Nous poursuivons depuis plus de 40 ans notre développement en France avec la même vision : « améliorer le quotidien du plus grand nombre ». Nous sommes animés par notre culture et nos valeurs. Nous sommes passionnés par la vie à la maison....
-
Responsable clientèle à distance
il y a 4 semaines
Évry, Île-de-France Ikea Temps pleinQui sommes-nous ?IKEA est un leader international de solutions d'aménagement de la maison, poursuivant depuis plus de 40 ans son développement en France avec toujours la même vision : « améliorer le quotidien du plus grand nombre ». Animés par notre culture et nos valeurs, nous sommes passionnés par la vie à la maison.Qu'est-ce que tu feras ?Tu...
