Dynamic Distribution Shifts: OoD Detection with Dynamic Thresholds H/F
il y a 1 jour
The detection of out-of-distribution (OoD) samples is crucial for deploying deep learning (DL) models in real-world scenarios. OoD samples pose a challenge to DL models as they are not represented in the training data and can naturally arrive during deployment (i.e., a distribution shift), increasing the risk of obtaining wrong predictions. Consequently, OoD samples detection is crucial in safety-critical tasks, such as healthcare or automated vehicles, where trustworthy models are required.
The existing literature for the OoD detection problem focuses on the development of confidence scores where a threshold is applied to build a binary classifier to tell if a sample is in-distribution (InD) or OoD. In particular, the confidence score threshold is typically set using the values that correspond to InD samples, such that 95% of the confidence score values from InD samples fall above the selected thresholds, i.e., 95% True Positive Rate. However, setting a fixed threshold can lead to high False Positive Rate (FPR) values. In addition, even if the InD remains the same after deployment, the OoD could vary, resulting in FPR fluctuations. These two situations are of high interest in safety-critical applications, as misclassifying the confidence score value of an OoD sample as InD (False Positive) can result in more catastrophic consequences than misclassifying the confidence score value of an InD as OoD (False Negative).
To address the limitations and impact of a single fixed threshold selection, recent works propose using adaptive thresholds or a set of candidate thresholds to tackle the problem of dynamic distribution shifts. Specifically, in this internship position, we propose building on the work of Timans et al., who proposed a framework that leverages game theory and sequential hypothesis testing to assess the validity of a set of candidate thresholds. Therefore, the internship position aims to extend this work by exploring one or multiple of the following directions of improvement:
- Dynamic threshold selection (vs. fixed thresholds)
- Adaptive betting strategies (vs. static betting strategy)
- Adaptive windowing/batching (vs. fixed windows/batches size)
- Game theory methods: e.g., use of market-making algorithms (for threshold selection, and finding the optimal size of windows/batches)
Moyens / Méthodes / Logiciels
Statistics, Game Theory
*Profil du candidat*
- Master students (M1/M2 – France)
- Proficiency in Python, NumPy, SciPy, sciki-tlearn, PyTorch,…
- Solid background in math, probability & statistics
*Localisation du poste
Site*
Saclay
*Localisation du poste*
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
*Critères candidat
Langues*
Anglais (Courant)
Diplôme préparé
Bac - Baccalauréat général
Formation recommandée
Math, Statistics
Possibilité de poursuite en thèse
Oui
-
Saclay, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Saclay, Île-de-France CEA Temps pleinGeneral information Organisation The French Alternative Energies and Atomic Energy Commission (CEA) is a key player in research, development and innovation in four main areas :• defence and security,• nuclear energy (fission and fusion),• technological research for industry,• fundamental research in the physical sciences and life sciences.Drawing...
-
Saclay, Île-de-France CEA Temps pleinMissions:During this internship, you will explore the state of the art techniques for 3D scene reconstruction from 2D image using Neural Fields. With a focus on the accuracy of reconstructed geometry, you will design and develop a method of 3D surface reconstruction, which will be applied to industrial environment.The internship will notably...
-
Saclay, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Saclay, Île-de-France CEA Temps pleinMissions:During this internship, you will explore integration of 3D reconstruction and natural language commands via large language models for a smart mobile robot (robot base + manipulator arm). The internship may notably include (depending on task advancement):Reviewing existing literature on the subjectDownloading and testing the best approaches...
-
Saclay, Île-de-France CEA Temps pleinSee illustrations on:During this internship, you will investigate state of the art techniques for detection of objects in images when the CAD model of the object is available (CAD-conditioned detection). Indeed, most state of the art approaches start with an object-agnostic segmentation (using Meta's SAM for instance) followed by template matching. But this...
-
Saclay, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Saclay, Île-de-France CEA Temps pleinLes architectures distribuées modernes, destinées à être déployées au sein des infrastructures IT d'établissements publics, reposent de plus en plus sur l'Intelligence Artificielle (IA) et le Machine Learning (ML) pour automatiser certaines prises de décision (allocation de ressources, orchestration de services, supervision intelligente, etc.).Dans...
-
Saclay, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
-
Research engineer on attosecond laser platform H/F
il y a 1 semaine
Saclay, Île-de-France CEA Temps pleinInformations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...
