Doctorant F/H Vers des modèles de diffusion efficaces

Doctorant F/H Vers des modèles de diffusion efficaces

Le centre Inria de Lyon est le 9ème centre de recherche Inria. Créé en janvier 2022, il regroupe environ 410 personnes au sein de 20 équipes de recherche et des services supports à la recherche.

Ses équipes sont localisées à Villeurbanne, à Lyon Gerland,Lyon Bronainsi qu’à Saint-Etienne.

Le centre de Lyon est présent dans les domaines du logiciel, du calcul distribué et haute performance, des systèmes embarqués, du calcul quantique et de respect de la vie privée dans le monde numérique, mais aussi de la santé et de la biologie numériques.

Les modèles génératifs sont devenus un paradigme central de l'intelligence artificielle moderne, permettant des avancées remarquables dans la production de texte, d'images, de sons et d'autres données complexes. Cependant, les différentes modalités ont historiquement conduit à des approches distinctes de la modélisation générative. Pour les données discrètes telles que le texte, les modèles autorégressifs se sont imposés comme le paradigme dominant : ils génèrent les échantillons de manière séquentielle en modélisant une factorisation de la distribution des données. À l'inverse, pour les données continues telles que les images, les modèles de diffusion et les approches par flow matching ont connu un succès remarquable en apprenant une transformation globale entre des distributions de bruit simples et la distribution des données. Ces approches reposent sur des mécanismes de génération fondamentalement différents et donc des biais inductifs différents.
Cette perspective soulève plusieurs questions fondamentales.

• Quelles sont les différences de biais inductif et de créativité entre les modèles autorégressifs et les modèles de diffusion discrète, et ces différences se traduisent-elles par des formes différentes de diversité des données générées ? Les deux paradigmes peuvent-ils être réunifiés au sein d'un cadre théorique et algorithmique commun ?
• Certaines aspects des approches discrètes et continues peuvent-ils être combinés afin de tirer le meilleur des deux mondes ? Comment les techniques d'alignement telles que l'apprentissage par renforcement à partir de retours humains peuvent-elles être adaptées à une génération itérative et non autorégressive ?
• Enfin, les avancées récentes dans les formulations continues des modèles génératifs discrets peuvent-elles fournir de nouveaux outils pour concevoir des modèles génératifs en peu d'étapes plus efficaces pour les données discrètes, par flow-map distillation ?

Cette thèse explorera ces questions à l'intersection de la modélisation générative discrète, des méthodes de diffusion et des méthodes de flow matching.

Principales activités :

• developpement de nouvelles méthodes de génération pour les données discrètes
• écriture d'articles scientifiques
• dissémiantion des travaux via la diffusion de code open source
• communication orale dans des congrès

Compétences techniques et niveau requis : master en machine learning, expérience en programmation Python (si possible open source), rigueur scientifique

Langues : anglais scientifique écrit et parlé

Compétences relationnelles : intégration dans une équipe de recherche, interactions avec les autres doctorants et permanents, travail collaboratif, autonomie

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (90 jours par an flottants) et aménagement du temps de travail
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Mutuelle et prévoyance avec participation employeur

Goût pour la recherche, curiosité scientifique
Master en Machine Learning