Modèles de Diffusion Pour La Robustesse en Machine
Il y a 2 mois
**Contexte du stage**:
Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.
Vous serez encadré par un ingénieur-chercheur SystemX du domaine Science des données et IA.
Vous travaillerez au sein du projet de recherche exploratoire « GenAI pour l’évaluation et l’amélioration de la généralisation Out-Of-Distribution en ML ».
**Présentation du sujet**:
L’essor spectaculaire de l’IA Générative (IAGen, GenAI en anglais) au cours des dernières années a fait émerger, et rendu primordial, le besoin de comprendre leur fonctionnement afin d’assurer leur industrialisation dans des systèmes critiques à base de Machine Learning (ML). En effet, les plus récents composants à base d’IA sont souvent multi-modèles, multitâches, multimodaux et multifonctions, intègrent des modèles de fondation entraînés sur de grandes bases de données, dont ils héritent la problématique de la généralisation Out-of-Distribution (OOD) d’une part, et les difficultés liées à la gestion des données d’adaptation, dont l’hétérogénéité est intrinsèque, d’une autre part. Or, de récentes corrections méthodologiques d’évaluation ont permis de montrer que des modèles de fondation tels que CLIP n’ont en réalité pas d’avantage de propriété de généralisation OOD par rapport à des modèles plus petits [7]. Ainsi, la maîtrise des deux challenges énoncés est un sujet d’actualité pour les industriels souhaitant intégrer de tels composants dans des systèmes critiques pour se conformer aux réglementations en vigueur.
L’objectif du stage est d’appliquer des méthodes de robustesse OOD via des modèles de diffusion sur une sélection des réseaux de neurones profonds de l’état de l’art, et de démontrer par la suite leur efficacité par rapport aux méthodes classiques dans le cadre d’un cas d’usage industriel.
Ainsi, le stagiaire sera amené à:
- Faire un état de l’art autour de la robustesse OOD le long du cycle de vie d’un modèle M
- Prendre en main l’implémentation des méthodes existantes [5] identifiées dans l’état de l’art en vue de l’implémentation d’un démonstrateur les rassemblant ;
- Contribuer au développement de méthodes d’amélioration de la robustesse OOD via des modèles de diffusion [1, 2, 3, 4].
Références bibliographiques:
- Song et-al, _Score-Based Generative Modelling through Stochastic Differential Equations_, ICLR 2021.
- Nie et-al, _Diffusion Models for Adversarial Purification_, ICML 2022.
- Esser et-al, _Scaling Rectified Flow Transformers for High-Resolution Image Synthesis_, ICML 2024 (Best Paper Award).
- Lynch et-al, _Spawrious:_ _A Benchmark for Fine Control of Spurious Correlation Biases_, 2023
- Liu, J., et-al, _Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications,_ ICML, 2024.
- Kadkhodaie et-al_, Generalization of Diffusion Models Arise from Geometry-Adaptive Harmonic Representations_, ICLR 2024 (Outstanding Paper Award).
- Mayilvahanan et al, _In Search of Forgotten Domain Generalization,_ ICML 2024.
Profil et compétences
De formation : BAC + 5 / école d’ingénieur ou université master, dans le domaine de Machine Learning et/ou Mathématiques Appliquées.
**Compétences** souhaitées**:
- Python, Pytorch ou Tensorflow
- Maîtrise des modèles ML avancés (U-Nets, Transformers)
- Théorie des probabilités, analyse stochastique
**Aptitudes **personnelles**:
- Motivation et dynamisme
- Esprit d’équipe de recherche
- Force de proposition
**Informations clés**:
**Durée du stage**: 6 mois
**Date de démarrage envisagée** : février 2025
**Localisation du poste**: Palaiseau (91)
Postuler à cette offre d’emploi
**Merci de joindre CV, lettre de motivation et relevé(s) de notes.**
**Domaine**:
- Science des données et IA
-
Doctorant (F/H) Surveillance Santé Robuste en
Il y a 7 mois
Palaiseau, France Inria Temps plein**Type de contrat **:CDD **Niveau de diplôme exigé **:Bac + 5 ou équivalent **Fonction **:Doctorant **Contexte et atouts du poste**: **Contexte de la thèse**: **Encadrement**: L’étudiant-e sera inscrit à l’Ecole Doctorale MEGA Lyon et en formation doctorale à l’Ecole Centrale de Lyon. **Lieu **:La thèse se déroulera principalement à...
-
Robust Federated Learning
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Robust Federated Learning - Internship H/F **Sujet de stage**: - This internship focuses on the exploration of Multi-Party Computation (MPC) in a Federated Learning setting, particularly under adversarial conditions. The primary aim is to...
-
Label Efficient 3D Detection with Foundation Models
Il y a 4 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Mathématiques, information scientifique, logiciel **Contrat**: - Stage **Intitulé de l'offre**: - Label Efficient 3D Detection with Foundation Models H/F **Sujet de stage**: - In this internship, you will contribute to breakthrough research in areas critical to autonomous driving, robotics, and augmented reality....
-
Synthèse de Fonds Texturés Par Modèles de
Il y a 3 mois
Palaiseau, France ONERA - The French Aerospace Lab Temps plein**Synthèse de fonds texturés par modèles de diffusion**: - Réf **ABG-126241** - Stage master 2 / Ingénieur- Durée 5 mois- Salaire net mensuel 1000- 11/10/2024- ONERA - The French Aerospace Lab- Lieu de travail- palaiseau Ile-de-France France- Champs scientifiques- Mathématiques- 01/01/2025**Établissement recruteur**: **Site web**: L'ONERA (Office...
-
Stage - Deep-learning Models for 3D Lidar Data
Il y a 2 mois
Palaiseau, France TotalEnergies Temps plein**Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-LE NEXT(FRA) **Domaine** Recherche Innovation&Développt **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** **Activités** En tant que stagiaire Deep-Learning models for 3D Lidar data reconstruction H/F,...
-
Exploration Des Signatures Comportementaux
Il y a 7 mois
Palaiseau, France INRAE Temps plein91120 Palaiseau _ **RETOUR À LA LISTE DES RÉSULTATS** **Présentation INRAE**: L’Institut national de recherche pour l’agriculture, l’alimentation et l’environnement (INRAE) est un établissement public de recherche rassemblant une communauté de travail de 12 000 personnes, avec 272 unités de recherche, de service et expérimentales,...
-
Stage - Machine Learning Appliqué à La Prévision
Il y a 2 mois
Palaiseau, France TotalEnergies Temps plein**Pays** France **Ville** PALAISEAU **Lieu de travail** PALAISEAU-ROUTE DE SACLAY(FRA) **Domaine** Recherche Innovation&Développt **Type de contrat** Stage conventionné **Durée du contrat** 6 **Expérience** Moins de 3 ans **Contexte et environnement** - Le stagiaire sera impliqué sur l’objectif de prévision à très court terme...
-
Cdd Post-doc Sur L Autopsie de L'ia
il y a 2 semaines
Palaiseau, France INSTITUT DE RECHERCHE TECHNOLOGIQUE SYSTEM X Temps pleinDescriptif du poste Face aux différents incidents techniques et sociaux posés par l'IA, ces dernières années ont connu la naissance d un certain nombre de communautés académiques en IA pour traiter le problème de l'interprétabilité ou de l'équité des algorithmes. Cependant les méthodes qui en sont issues rencontrent des limites. Bien qu'il...
-
Palaiseau, France Institut Mines-Télécom Temps pleinWho are we?Télécom Paris, a school of the IMT (Institut Mines-Télécom) and a founding member of the Institut Polytechnique de Paris, is one of the top 5 French general engineering schools.The guiding mission of Télécom Paris is to train, imagine and undertake to design digital models, technologies and solutions for a society and economy that respect...
-
STAGE – Ingénieur Cyber
il y a 1 mois
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Deep Learning Methods to Improve 3D Gaussian
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Sciences pour l'ingénieur **Contrat**: - Stage **Intitulé de l'offre**: - Deep Learning methods to improve 3D Gaussian Splatting training H/F **Sujet de stage**: [1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view...
-
Data Scientist
il y a 2 semaines
Palaiseau, France Socotec Temps pleinDescription de l'entreprise **Socotec Monitoring France,** filiale du groupe Socotec (un des leaders mondiaux des TIC) et basée sur le Plateau de Saclay, est une PME spécialisée dans l’instrumentation et la surveillance de tous types d’infrastructures (Centrales nucléaires, barrages, ponts, tunnels, réseaux,). Ayant connu une très forte croissance...
-
Cdd Postdoc
il y a 2 semaines
Palaiseau, France INSTITUT DE RECHERCHE TECHNOLOGIQUE SYSTEM X Temps pleinDescriptif du poste Dans le contexte des transitions contemporaines, les filières industrielles et les disciplines scientifiques bien établies sont confrontées à des bouleversements profonds qui prennent place à un rythme inédit. Les acteurs historiques de ces filières et disciplines sont eux-mêmes appelés à se transformer, à acquérir de...
-
Palaiseau, France Inria Temps pleinA propos du centre ou de la direction fonctionnelleThe Inria Saclay-Île-de-France Research Centre was established in 2008. It has developed as part of the Saclay site in partnership with Paris-Saclay University and with the Institut Polytechnique de Paris since 2021. The centre has 39 project teams , 27 of which operate jointly with Paris-Saclay...
-
Détection D’anomalie Dans Le Réseau D’un
Il y a 2 mois
Palaiseau, France IRT SystemX Temps plein**Contexte du stage**: Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs...
-
Peut-on Appliquer Une Méthode de Réduction Des
Il y a 4 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Systèmes d'information **Contrat**: - Stage **Intitulé de l'offre**: - Peut-on appliquer une méthode de réduction des tokens généralisée aux modèles ViT multitâches ? H/F **Sujet de stage**: - Les Vision Transformers (ViT) ont révolutionné le domaine de la vision par ordinateur en atteignant des...
-
Palaiseau, France THALES Temps pleinQUI SOMMES-NOUS ?Construisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d’activité : Défense & Sécurité, Aéronautique & Spatial, et Cybersécurité & Identité numérique. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de...
-
Post-doctorant (F/H) Sructured Riemannian
Il y a 4 mois
Palaiseau, France Inria Temps plein**Type de contrat **:CDD **Niveau de diplôme exigé **:Thèse ou équivalent **Fonction **:Post-Doctorant **A propos du centre ou de la direction fonctionnelle**: - Le centre de recherche Inria de Saclay a été créé en 2008. Sa dynamique s’inscrit dans le développement du plateau de Saclay, en partenariat étroit d’une part avec le pôle de...
-
Exploring The Generalizability of Ml-driven
Il y a 3 mois
Palaiseau, France CEA Temps pleinDescription du poste **Domaine**: - Composants et équipements électroniques **Contrat**: - Stage **Intitulé de l'offre**: - Exploring the Generalizability of ML-driven Performance Model Generation for HW Design H/F **Sujet de stage**: - This internship provides a valuable opportunity to gain hands-on experience with machine learning techniques for...
-
Quantum Algorithm Developer
Il y a 3 mois
Palaiseau, France PASQAL Temps plein**About Pasqal** PASQAL designs and develops Quantum Processing Units (QPUs) and associated software tools. In addition to the exceptional computing power they provide, QPUs are highly energy efficient and will contribute to a significant reduction in the carbon footprint of the HPC industry. Pasqal's Quantum Graph Machine Learning (QGML) team is a...
