Stage-mise en Place D’un Pipeline Pour Le Suivi Et L’évaluation Continue Des Modèles de Machine Learning

**Contexte du stage**:
**Présentation du sujet**:
**Contexte du stage**

Les évolutions récentes des modèles d’apprentissage automatique (Machine Learning) nécessitent de plus en plus la mise en place de pipelines et de protocoles d’évaluation automatiques ou semi-automatiques. Ces mécanismes permettent non seulement de comparer les performances des modèles, mais aussi d’en assurer le suivi et la reproductibilité. Pour cela, les communautés scientifiques et industrielles s’appuient habituellement sur des plateformes de benchmarking en ligne telles que Hugging Face ou Kaggle, et participent régulièrement à des compétitions scientifiques qui stimulent l’innovation et favorisent la confrontation des solutions à l’état de l’art.Dans ce cadre, l’IRT SystemX a déjà organisé plusieurs compétitions [1,2] sur des thématiques de recherche variées, allant de l’hybridation simulation numérique/IA à la vision par ordinateur (computer vision). Ces compétitions ont permis de générer des résultats riches et diversifiés, maiselles posent une question centrale : comment pérenniser ces benchmarks et en assurer la continuité au-delà de la compétition ?C’est à cette problématique qu’entend répondre ce stage, en explorant des solutions techniques et méthodologiques pour mettre en place un système d’évaluation continu, automatisé et durable**,** garantissant la capitalisation et la valorisation des résultats issus des compétitions.

**Objectifs du stage**

L’objectif principal de ce stage est de proposer et de mettre en œuvre une approche permettant de pérenniser et d’assurer la continuité des benchmarks issus des compétitions scientifiques et industrielles organisées par l’IRT SystemX. Dans un premier temps, le(la) stagiaire devra se familiariser avec les outils et développements internes existants, ainsi qu’avec les données et résultats générés lors de précédentes compétitions. Cette phase exploratoire permettra d’identifier les besoins réels en termes de stockage, de gestion des données et des modèles, et de suivi continu des performances**.**Une étude approfondie de l’état de l’art des solutions actuelles (plateformes de benchmarking, outils de MLOps, systèmes de gestion de pipelines) sera également menée afin de comparer leurs avantages et limites, et d’orienter les choix de conception. Sur cette base, le(la) stagiaire contribuera à la mise en place d’un pipeline générique et modulable, intégrant:

- des espaces dédiés par domaine scientifique,
- la possibilité d’importer et d’héberger des données et modèles,
- des protocoles d’évaluation automatique,
- et la publication de résultats de manière continue et reproductible.

À terme, ce travail devra aboutir à une solution robuste et durable, facilitant la capitalisation des résultats des compétitions et leur valorisation scientifique et industrielle.

**Missions**
- Réaliser un état de l’art des plateformes, méthodes et outils existants de benchmarking continu et d’évaluation automatique de modèles.
- Concevoir et développer les briques nécessaires à la mise en place d’un pipeline complet, intégrant le versionnage des données et modèles, ainsi que l’automatisation de l’évaluation en s’appuyant sur des solutions existantes (Hugging Face, MLflow, TFX, etc.).
- Contribuer à la validation expérimentale du pipeline sur des cas d’usage concrets (compétitions et domaines scientifiques traités par l’IRT SystemX).
- Participer aux réunions scientifiques et technologiques de l’institut afin de partager l’avancement et confronter les choix techniques.
- Présenter les résultats obtenus sous forme de démonstrations, de présentations internes, et rédiger un rapport détaillé incluant une synthèse des travaux et des recommandations pour la pérennisation de la solution.

Références bibliographiques:
[1] LEYLI-ABADI, Milad, PICAULT, Jérôme, MAROT, Antoine, _et al._Machine Learning for Physical Simulation Challenge Results and Retrospective Analysis: Power Grid Use Case. _arXiv preprint arXiv:2505.01156_, 2025.

[2] YAGOUBI, Mouadh, DANAN, David, LEYLI-ABADI, Milad, _et al._NeurIPS 2024 ML4CFD Competition: Results and Retrospective Analysis. _arXiv preprint arXiv:2506.08516_, 2025

[3] Casenave, Fabien, et al. « Physics-Learning AI Datamodel (PLAID) datasets: a collection of physics simulations for machine learning. » _arXiv preprint arXiv:2505.02974_ (2025).

Profil et compétences

De formation : BAC +5 (cycle d’ingénieur ou Master), dans le domaine du développement informatique et de l’IA

**Compétences souhaitées**:

- Solides compétences en développement Python et bonnes pratiques de programmation
- Connaissance des outils de stockage et de versionnage de données et modèles (Hugging Face, Kaggle, MLflow, Airflow)
- Bonne compréhension des modèles de Machine Learning / IA et de leurs métriques d’évaluation
- Expérience en MLOps (conteneurisation, suivi, automatisation de pipelines)
- Maîtrise d’outils de visualisation et de monitoring (Grafana, TensorBoard, etc.)

**Aptitudes personnelles**: