Post-Doctoral Research Visit F/M Theoretical analysis of generative models

Le descriptif de l'offre ci-dessous est en Anglais

Type de contrat : CDD

Niveau de diplôme exigé : Thèse ou équivalent

Fonction : Post-Doctorant

Contexte et atouts du poste

The position will be in the framework of the ERC Starting Grant DYNASTY (Dynamics-Aware Theory of Deep Learning).

The position might include traveling to conferences for paper presentation. Travel expenses will be covered within the limits of the scale in force.

Mission confiée

The rapid success of diffusion models [1, 2, 3], which have achieved state-of-the-art performance across diverse domains, motivates the need for a theoretical understanding of the mechanisms underpinning their strong capabilities. The unique structure of these models, as well as recent evidence [4, 5] indicating they forgo the advantageous properties of benign overfitting, suggests that diffusion models are a fundamental divergence from traditional deep learning paradigms. This suggests that existing generalisation theories are insufficient and highlights the need for a bespoke, algorithm-dependent framework to capture the phenomena present in these models.

We are seeking a postdoctoral researcher to develop theoretical frameworks for analysing generalisation and memorisation in diffusion models. The project's central goal is to move beyond algorithm-independent bounds and develop rigorous theory that unpacks the generalisation properties inherent to the training and sampling processes. A key component of this analysis will be to precisely characterise the mechanisms driving memorisation. This theoretical work will serve as the foundation for developing well-founded algorithms that target the task of preventing data copying (e.g. [6, 7]) as well as the problem of data attribution (e.g. [8, 9]), allowing for the precise measurement of individual training examples' influence on model outputs.

[1] Sohl-Dickstein, Jascha, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli "Deep Unsupervised Learning Using Nonequilibrium Thermodynamics." ICML.

[2] Ho, Jonathan, Ajay Jain, and Pieter Abbeel "Denoising Diffusion Probabilistic Models." NeurIPS.

[3] Song, Yang, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole "Score-Based Generative Modeling through Stochastic Differential Equations." ICLR.

[4] Pidstrigach, Jakiw "Score-Based Generative Models Detect Manifolds." NeurIPS.

[5] Dupuis, Benjamin, Dario Shariatian, Maxime Haddouche, Alain Durmus, and Umut Simsekli "Algorithm- and Data-Dependent Generalization Bounds for Score-Based Generative Models." arXiv [Stat.ML].

[6] Vyas, Nikhil, Sham M. Kakade, and Boaz Barak "On Provable Copyright Protection for Generative Models." ICML.

[7] Alberti, Silas, Kenan Hasanaliyev, Manav Shah, and Stefano Ermon "Data Unlearning in Diffusion Models." ICLR.

[8] Mlodozeniec, Bruno Kacper, Runa Eschenhagen, Juhan Bae, Alexander Immer, David Krueger, and Richard E. Turner "Influence Functions for Scalable Data Attribution in Diffusion Models." ICLR.

[9] Zheng, Xiaosen, Tianyu Pang, Chao Du, Jing Jiang, and Min Lin "Intriguing Properties of Data Attribution on Diffusion Models." ICLR.

Principales activités

Main activities :

Conduct theoretical research

Conduct experiments for empirical verification

Write scientific articles

Disseminate the scientific work in appropriate venues.

Compétences

Technical skills and level required :

Languages : High-level of professional/academic English

Coding skills : Good level of coding in Python and related deep learning libraries

Avantages

• Subsidized meals
• Partial reimbursement of public transport costs
• Leave: 7 weeks of annual leave + 10 extra days off due to RTT (statutory reduction in working hours) + possibility of exceptional leave (sick children, moving home, etc.)
• Possibility of teleworking and flexible organization of working hours
• Professional equipment available (videoconferencing, loan of computer equipment, etc.)
• Social, cultural and sports events and activities
• Access to vocational training
• Social security coverage

Informations générales

• Thème/Domaine : Optimisation, apprentissage et méthodes statistiques

Statistiques (Big data) (BAP E)
- Ville : Paris
- Centre Inria : Centre Inria de Paris
- Date de prise de fonction souhaitée :
- Durée de contrat : 2 ans
- Date limite pour postuler :

Attention: Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.

Consignes pour postuler

Sécurité défense :

Ce poste est susceptible d'être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n° relatif à la protection du potentiel scientifique et technique de la nation (PPST). L'autorisation d'accès à une zone est délivrée par le chef d'établissement, après avis ministériel favorable, tel que défini dans l'arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l'annulation du recrutement.

Politique de recrutement :

Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

Contacts

• Équipe Inria : SIERRA
• Recruteur :

Simsekli Umut /

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.

---