Data Scientist

Identifiant (email, de type exemple@exemple.fr)

Mots clés (ex. : Chargé(e) de contrôle interne)

Le service à compétence nationale (SCN) dénommé « Pôle d'Expertise de la Régulation Numérique » (PEReN), a pour mission d’apporter son expertise et son assistance techniques aux services de l’État et autorités administratives intervenant dans la régulation des plateformes numériques. Il est placé sous l’autorité des ministres chargés de l’économie, de la communication et du numérique et rattaché au Directeur Général des Entreprises (DGE) pour sa gestion administrative et financière.
Le PEReN, constitué actuellement de 30 personnes, réunit les expertises humaines et ressources technologiques principalement dans les domaines du traitement des données, de la data science et de l’analyse algorithmique. Il fournit son savoir-faire technique aux services de l’État et autorités administratives qui le sollicitent (par exemple, Autorité de la concurrence, ARCOM, CNIL, ARCEP, ou directions ministérielles telles que la DGE, la DGCCRF, la DGT ou la DGMIC) en vue d’accéder à une compréhension approfondie des écosystèmes d’information exploités par les grands acteurs du numérique.
Le PEReN est également un centre d’expertise mutualisé entre les différents services de l’État qui conduit une réflexion sur la régulation des plateformes numériques et les outils de cette régulation, dans une approche à la pointe des avancées scientifiques.

Descriptif de l'employeur (suite)

Il a également vocation à animer un réseau de recherche dédié à la régulation des grandes plateformes numériques, et peut être amené à réaliser à son initiative des travaux de recherche académique liés aux différentes thématiques.

Description du poste

Financé par l’Agence nationale de la recherche, l’ANR PACMAM associe Inria, le CNRS et le PEReN dans l’objectif de poser les bases d'un audit efficace en boîtes noires des modèles à grande capacité sous contrainte budgétaire. Le projet est organisé en trois groupes de travail, dont le dernier a pour objectif de mettre en place des méthodes opérationnelles permettant de surveiller efficacement les modèles d’intelligence artificielle (IA) générative, et en particulier les grands modèles de langage (LLM), fréquemment mis à jour par leurs fournisseurs. En effet, la plupart des LLM sont aujourd’hui accessibles à distance et fonctionnent en boîte noire : l’utilisateur envoie une requête, le fournisseur renvoie une réponse, sans visibilité sur ce qui s’exécute réellement. Or, et en particulier pour des usages critiques, il est essentiel de connaître précisément le modèle utilisé à un instant t, ainsi que son historique de modifications, y compris les éventuels changements silencieux. Si un modèle est adapté à un usage spécifique à un moment donné, il est essentiel d’en assurer un suivi continu afin de détecter toute évolution susceptible de modifier son comportement. Dès lors, il est crucial de se doter de solutions de monitoring robustes, à faible coût, capables d’assurer la surveillance continue des modifications des modèles d’IA générative.

Un premier exemple d’un tel outil opérationnel est TrackLLM, développé par des équipes Inria et CNRS avec le soutien d'INESIA, à partir de travaux de recherche du CNRS, d’Inria, et du PEReN. TrackLLM est le premier observatoire à mesurer ce phénomène en continu et à grande échelle depuis juin 2026 et sur des essais ponctuels depuis début 2026. Cet outil repose actuellement sur deux méthodes de monitoring.

L’objectif du poste et d’enrichir la banque de méthodes disponibles afin d’élargir les capacités de monitoring et d’identification en condition réelles.

Intégré(e) au sein d’une équipe d’experts en sciences des données au PEReN et au contact des équipes de recherche Inria et CNRS de l’ANR PACMAM, vous serez chargé(e) du développement de cet outil.

Vous serez amené(e) à :

• Identifier dans la littérature les méthodes les plus pertinentes, en appréciant notamment leur performance, leur complémentarité, leur opérationnalisation ainsi que leur adéquation avec les besoins du projet
• Tester et valider ces méthodes
• Intégrer les solutions retenues à l’outil TrackLLM afin qu’elles soient utilisées en conditions réelles
• Analyser les résultats du monitoring afin d’en évaluer l’impact et ajuster si nécessaire
• Assurer le suivi des usages et usagers de TrackLLM, répondre à leurs besoins

Conditions d'exercice particulières

Compte tenu des missions, vous serez amené(e) à effectuer de manière ponctuelle des déplacements professionnels à Rennes afin d’être au contact des équipes d’Inria travaillant sur ce même sujet.

Description du profil recherché

Vous savez mobiliser vos savoirs en autonomie :

• Connaissance de l’écosystème Python (Python 3.11, bibliothèques usuelles d’analyse de données, écriture de tests unitaires) et