Stage-explicabilité Pour L’alignement de Llms Traitant Des Séries Temporelles Complexes

**Contexte du stage**:
Au sein de l’Institut de Recherche Technologique SystemX, situé au cœur du campus scientifique d’excellence mondiale de Paris-Saclay, vous prendrez une part active au développement d’un centre de recherche technologique de niveau international dans le domaine de l’ingénierie numérique des systèmes. Adossé aux meilleurs organismes de recherche français du domaine et constitué par des équipes mixtes d’industriels et d’académiques, ce centre a pour mission de générer de nouvelles connaissances et solutions technologiques en s’appuyant sur les percées de l’ingénierie numérique et de diffuser ses compétences dans tous les secteurs économiques.Vous serez encadré par deux ingénieurs-chercheurs SystemX de l’équipe Interaction Humain-IA.Vous travaillerez en lien avec le projet SystemX IAG Core axé sur le développement d’outils pour l’IA générative.

**Présentation du sujet**:
**Objectifs du stage**:
L’utilisation croissante des grands modèles de langage (LLMs) pour des tâches industrielles multimodales, comme l’analyse de séries temporelles et la génération d’explications en langage naturel [1], pose la question de la fiabilité de ces modèles. Etant en effet sujets aux hallucinations, ils peuvent générer du contenu plausible mais factuellement incohérent et manquant de compréhension et prise en compte du contexte [2]. La caractérisation des hallucinations est donc un élément essentiel avant tout déploiement de ces modèles. Pour cela, un moyen de caractériser la sortie d’un modèle génératif consiste à utiliser un modèle tiers calibré et muni d’outils d’explicabilité, pour identifier des motifs d’intérêt dont la présence peut être considérée comme un signe empirique d’alignement [3].Des résultats récents montrent que les LLMs peuvent être utilisés pour l’analyse et la génération de connaissances à partir de séries temporelles complexes [4], [5], [6] : typiquement, ces modèles sont capables de raisonner explicitement sur les données temporelles en exploitant efficacement leur contexte sémantique. On se propose donc d’explorer plusieurs techniques d’explicabilité pouridentifier des motifs d’intérêt dans les séries temporelles et les relier à des descriptions sémantiques, afin d’aider à la caractérisation des hallucinations des sorties de ces modèles.

Objectifs du stage:

- Explorer de nouvelles pistes méthodologiques et techniques basées sur l’alignement sémantique et l’explicabilité pour caractériser les sorties d’un LLM détectant des anomalies dans les séries temporelles.
- Progresser dans la compréhension et l’interprétation des sorties des modèles génératifs en contexte industriel.
- Associer des descriptions sémantiques à des signaux en mobilisant des outils d’explicabilité pertinents [7]
- Identifier les variables ou les segments les plus saillants des signaux pour la détection d’anomalies dans les séries temporelles fournies.

Missions:

- Participer à la mise en œuvre d’outils d’explicabilité : techniques à base d’attribution de features comme SHAP (valeurs de shapley), ou Class Activation Maps (dCAM). Techniques de clustering non supervisé permettant d’identifier des segments typiques de certains évènements.
- Participer à la mise en œuvre des LLMs pour l’analyse de séries temporelles (Time-LLM, ChatTs, ChatTime).
- Réaliser un état de l’art sur les liens entre explicabilité et analyse/guidage de modèles génératifs (LLMs et séries temporelles en particulier mais plus largement toute approche pouvant être adaptée vers ce domaine)
- Participer au développement d’une preuve de concept pour la méthodologie d’analyse des sorties de modèles génératifs.

Références bibliographiques:
[1] N. Gruver, M. Finzi, S. Qiu, et A. G. Wilson, « Large Language Models Are Zero-Shot Time Series Forecasters », 2023, _arXiv_. doi: 10.48550/ARXIV.2310.07820.

[2] W. Dai, Z. Liu, Z. Ji, D. Su, et P. Fung, « Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training », in _Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics_, Dubrovnik, Croatia: Association for Computational Linguistics, 2023, p. 2136‑2148. doi: 10.18653/v1/2023.eacl-main.156.

[4] Z. Xie _et al._, « ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning », 2024, _arXiv_. doi: 10.48550/ARXIV.2412.03104.

[5] C. Wang _et al._, « ChatTime: A Unified Multimodal Time Series Foundation Model Bridging Numerical and Textual Data », 2024, _arXiv_. doi: 10.48550/ARXIV.2412.11376.

[6] M. Jin _et al._, « Time-LLM: Time Series Forecasting by Reprogramming Large Language Models », 2023, _arXiv_. doi: 10.48550/ARXIV.2310.01728.

[7] T. Rojat, R. Puget, D. Filliat, J. Del Ser, R. Gelin, et N. Díaz-Rodríguez, « Explainable Artificial Intelligence (XAI) on TimeSeries Data: A Survey », 2021, _arXiv_. doi: 10.48550/ARXIV.2104.00950.

Profil et compétences

De formation : BAC+5 en fin de cycle école d’ingénieur ou Master 2, dans le do