Propriétés Quantifiées D'atteignabilité Pour

**Propriétés quantifiées d'atteignabilité pour l'explicabilité garantie en IA // Quantified reachability properties for provably explainable AI**:

- Réf **ABG-126168**
**ADUM-59253**
- Sujet de Thèse- 08/10/2024- Autre financement public- École polytechnique- Lieu de travail- Palaiseau Cedex - France- Intitulé du sujet- Propriétés quantifiées d'atteignabilité pour l'explicabilité garantie en IA // Quantified reachability properties for provably explainable AI- Mots clés- méthodes formelles, réseaux de neurones, analyse d'atteignabilité, explicabilité de l'IA
formal methods, neural networks, reachability analysis, explainable AI**Description du sujet**:
Le contexte de ce travail est de développer des abstractions pour aborder des propriétés de robustesse plus générales. Plus spécifiquement, l'objectif est de proposer des approches garanties pour l'explicabilité du comportement des réseaux de neurones, tandis que la plupart des techniques existantes sont heuristiques [8].

Objectifs : Les approximations intérieures et extérieures de l'image ensembliste de fonctions proposées dans [3] sont un élément de base pour prouver des problèmes d'accessibilité quantifiés très généraux [4]. Ceux-ci constituent une base à partir de laquelle l'étudiant doit concevoir de nouvelles méthodes basées sur des ensembles pour aborder les propriétés des réseaux de neurones qui peuvent être exprimées sous forme de problèmes d'accessibilité quantifiés. Les objectifs sont d'identifier certaines propriétés d'intérêt qui peuvent être exprimées dans ce cadre, et de concevoir et d'expérimenter des analyses d'accessibilité inspirées des techniques de [3, 4] pour évaluer rigoureusement ces propriétés. Comme point de départ, nous pouvons explorer les propriétés d'équité, dans le sens par ex. [6, 2, 7]. Un autre axe consiste à fournir des propriétés d'explicabilité rigoureuses des réseaux de neurones telles que l'explication abductive [5, 1] : un sous-ensemble minimum de caractéristiques d'entrée, qui déterminent à elles seules la classification produite par le DNN. On peut également imaginer utiliser de telles approches pour guider la sparsification des réseaux de neurones.

Artificial Intelligence is now embedded into a number of everyday life appli
- cations. More and more, we depend on neural networks even in critical situations, such as control and motion planning for autonomous cars, and it is of primary importance to be able to verify their correct behavior.

Objectives: The tractable inner and outer-approximations of ranges of functions proposed in [3] are a building block for proving very general quantified reachability problems [4]. These constitute a basis from which the student is expected to design new set-based methods to tackle properties of neural networks that can be expressed as quantified reachability problems. The objectives are to identify some properties of interest that can be expressed in this framework, and design and experiment reachability analyzes inspired from the techniques of [3, 4] to rigorously assess these properties. As a starting point, we can explore fairness properties, in the line of e.g. [6, 2, 7]. Another axis consists in providing rigorous explainability properties of neural networks such as abductive explanation [5, 1]: a minimum subset of input features, which by themselves determine the classification produced by the DNN. We can also imagine using such approaches to guide the sparsification of neural networks.

Début de la thèse : 01/10/2025**Nature du financement**:

- Autre financement public**Précisions sur le financement**:

- ANR Financement d'Agences de financement de la recherche***Présentation établissement et labo d'accueil**:

- École polytechnique**Etablissement délivrant le doctorat**:

- École polytechnique**Ecole doctorale**:

- 626 Ecole Doctorale de l'Institut Polytechnique de Paris- 30/06/2025