Dynamic Distribution Shifts: OoD Detection with Dynamic Thresholds H/F

il y a 2 jours

Palaiseau, Île-de-France CEA Temps plein


Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités

• La coopération

• La curiosité

Référence

Domaine

Systèmes d'information


Contrat

Stage


Intitulé de l'offre

Dynamic Distribution Shifts: OoD Detection with Dynamic Thresholds H/F


Sujet de stage

Trustworthy Deep Learning - Confidence Monitoring


Durée du contrat (en mois)

3


Description de l'offre

The detection of out-of-distribution (OoD) samples is crucial for deploying deep learning (DL) models in real-world scenarios. OoD samples pose a challenge to DL models as they are not represented in the training data and can naturally arrive during deployment (i.e., a distribution shift), increasing the risk of obtaining wrong predictions. Consequently, OoD samples detection is crucial in safety-critical tasks, such as healthcare or automated vehicles, where trustworthy models are required.

  The existing literature for the OoD detection problem focuses on the development of confidence scores where a threshold is applied to build a binary classifier to tell if a sample is in-distribution (InD) or OoD. In particular, the confidence score threshold is typically set using the values that correspond to InD samples, such that 95% of the confidence score values from InD samples fall above the selected thresholds, i.e., 95% True Positive Rate. However, setting a fixed threshold can lead to high False Positive Rate (FPR) values. In addition, even if the InD remains the same after deployment, the OoD could vary, resulting in FPR fluctuations. These two situations are of high interest in safety-critical applications, as misclassifying the confidence score value of an OoD sample as InD (False Positive) can result in more catastrophic consequences than misclassifying the confidence score value of an InD as OoD (False Negative).

  To address the limitations and impact of a single fixed threshold selection, recent works propose using adaptive thresholds or a set of candidate thresholds to tackle the problem of dynamic distribution shifts. Specifically, in this internship position, we propose building on the work of Timans et al., who proposed a framework that leverages game theory and sequential hypothesis testing to assess the validity of a set of candidate thresholds. Therefore, the internship position aims to extend this work by exploring one or multiple of the following directions of improvement:

  • Dynamic threshold selection (vs. fixed thresholds)
  • Adaptive betting strategies (vs. static betting strategy)
  • Adaptive windowing/batching (vs. fixed windows/batches size)
  • Game theory methods: e.g., use of market-making algorithms (for threshold selection, and finding the optimal size of windows/batches)

Moyens / Méthodes / Logiciels

Statistics, Game Theory


Profil du candidat
  • Master students (M1/M2 – France)
  • Proficiency in Python, NumPy, SciPy, sciki-tlearn, PyTorch,…
  • Solid background in math, probability & statistics

Site

Saclay


Localisation du poste

France, Ile-de-France, Essonne (91)


Ville


Palaiseau

Critères candidat
Langues

Anglais (Courant)


Diplôme préparé

Bac - Baccalauréat général


Formation recommandée

Math, Statistics


Possibilité de poursuite en thèse

Oui

  • Object model-conditioned image detection and segmentation H/F

    il y a 2 jours

    Palaiseau, Île-de-France CEA Temps plein

    Informations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...

  • STAGE – Ingénieur en Scores de confiance pour algorithmes de Machine Learning en détection d'objets

    il y a 4 jours

    Palaiseau, Île-de-France Thales Temps plein

    Lieu : Palaiseau, FranceConstruisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l'environnement et plus...

  • STAGE – Ingénieur en Scores de confiance pour algorithmes de Machine Learning en détection d'objets

    il y a 4 jours

    Palaiseau, Île-de-France Thales Temps plein

    Lieu : Palaiseau, FranceConstruisons ensemble un avenir de confianceThales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. Il développe des produits et solutions qui contribuent à un monde plus sûr, plus respectueux de l'environnement et plus...

  • Application Engineer

    il y a 3 jours

    Palaiseau, Île-de-France Bruker Corporation Temps plein

    OverviewBruker is enabling scientists to make breakthrough discoveries and develop new applications that improve the quality of human life. Bruker's high performance scientific instruments and high value analytical and diagnostic solutions enable scientists to explore life and materials at molecular, cellular, and microscopic levels. In close cooperation...

  • Application Engineer

    il y a 13 heures

    Palaiseau, Île-de-France Bruker Corporation Temps plein

    PrésentationBruker is enabling scientists to make breakthrough discoveries and develop new applications that improve the quality of human life. Bruker's high performance scientific instruments and high value analytical and diagnostic solutions enable scientists to explore life and materials at molecular, cellular, and microscopic levels. In close...

  • stage - methodes de detection d'intrusion dans les automates programmables industrie f/h

    il y a 1 semaine

    Palaiseau, Île-de-France EDF Temps plein

    Mise en ligne le Type de contrat : StageNiveau de formation : BAC +4 / BAC +5Spécialité(s) : Expertise / RecherchePays / Région : France / Ile-de-FranceDépartement : Essonne (91)Ville : Palaiseau Description de l'offreLa R&D d'EDF (1900 chercheurs) a pour missions principales de contribuer à l'amélioration de la performance des unités...

  • Senior System Engineer

    il y a 1 semaine

    Palaiseau, Île-de-France NcodiN Temps plein

    At NcodiN, we are redefining the future of AI computing. Our breakthrough optical interposer shatters the limits of system integration, enabling the next generation of AI processors to scale beyond the copper wall. With the world's smallest laser integrated on silicon, we unleash the full potential of AI, setting a new industry standard for performance and...

  • Développement d'un agent intelligent pour l'observabilité dynamique des réseaux de communication H/F

    il y a 1 semaine

    Palaiseau, Île-de-France CEA Temps plein

    Informations générales Entité de rattachement Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un...

  • Post-doctoral fellow in model-based reinforcement learning

    il y a 1 semaine

    Palaiseau, Île-de-France CHEManager International Temps plein

    Who we are ?Télécom Paris, part of the IMT (Institut Mines-Télécom) and a founding member of the Institut Polytechnique de Paris, is one of France's top 5 general engineering schools.Themainspringof Télécom Paris is to train, imagine and undertake to design digital models, technologies and solutions for a society and economy that respect people and...

  • Internship - Correlated noise effect on digital circuits - W/M

    il y a 2 semaines

    Palaiseau, Île-de-France Pasqal Temps plein

    About PasqalPASQAL designs and develops Quantum Processing Units (QPUs) and associated software tools.Our innovative technology enables us to address use cases that are currently beyond the reach of the most powerful supercomputers; these cases can concern industrial application challenges as well as fundamental science needs.In addition to the exceptional...