Stage de Master 2 – Diffusion guidée et génération de cartes de précipitation

Contexte général :Ces dernières années les modèles de diffusion ont pris une importance croissante dans ledomaine de l’apprentissage profond. Il est à l’origine d’applications remarquées pour lagénération texte-vers-image mais aussi de texte-vers-vidéo. Le concept de diffusion est sous-jacent à ces outils génératifs. La pluie est un phénomène complexe, “non stationnaire” et“extrême”. L’apprentissage de ses propriétés nécessite de mieux prendre en compte sesparticularités. L’objectif est ici de s’intéresser à ce problème en utilisant des modèles dediffusion pour la génération d’images de radar pluie. Ce travail sera dans la continuité detravaux qui ont permis de tester un certain nombre de configurations de génération de cartesde pluie mais aussi de leur évaluation.Travail à réaliser :Le stage se focalisera sur l’apprentissage d’un modèle génératif, guidé, sur un jeu de donnéesconséquent d’images de résolution fine (1km toutes les 5min) issues du réseau de radarsmétéorologiques ARAMIS (Météo France). Le stage devrait permettre d’identifier desméthodes de simulations d’images « réalistes » d’événements extrêmes sous représentés dansles jeux actuellement appris. Le jeu de données étant constitué, il faudra tester différentesconfigurations d’apprentissage guidées ainsi que leurs validations.Dans un premier temps, il s’agira de se familiariser avec les modèles de diffusionconditionnels ainsi qu’aux choix d’implémentation. Cela se fera via une étude bibliographiqueguidée, de quelques articles [1] [2] [3] et blogs [4][5][6] de référence. Un travail particuliersera requis pour proposer des critères d’évaluation des cartes de pluie inférées. En plus duFID (pour l’anglais Fréchet Inception Distance), on cherchera des critères spécifiquespermettant de tester la distribution des données fournies par le modèle. Il faudra aussi biencomprendre la relation spécifique des modèles de diffusion avec les propriétés spectralespropres aux images naturelles [7] mais aussi à la pluie.La seconde partie du stage sera plus spécifiquement dédiée à l’apprentissage et à la générationconditionnelle. Des premiers tests concluants, ont permis de générer des cartes deprécipitation conditionnées sur des spectres d’énergies de cartes existantes. L’objectif sera defaire évoluer ce conditionnement pour améliorer significativement la génération. Il faudra parailleurs évaluer la qualité des générations obtenues sans conditionnement.Bibliographie :[1] Dhariwal, P., & Nichol, A. (2021). Diffusion models beat gans on image synthesis.Advances in neural information processing systems, 34, 8780-8794.[2] Ho, J., & Salimans, T. (2022). Classifier-free diffusion guidance. arXiv preprintarXiv:2207.12598.[3] Nichol, A. Q., Dhariwal, P., Ramesh, A., Shyam, P., Mishkin, P., Mcgrew, B., … & Chen,M. (2022, June). GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models. In International Conference on Machine Learning (pp. 16784-16804). PMLR.[4] Weng, L. (2021). What are diffusion models?, https://lilianweng.github.io/posts/2021-07-11-diffusion-models.[5] Dieleman, S. (2022) Guidance: a cheat code for diffusion models,https://sander.ai/2022/05/26/guidance.html.[6] Dieleman, S. (2023) The geometry of diffusion guidance,https://sander.ai/2023/08/28/geometry.html [7] Dieleman, S. (2024) Diffusion is spectralautoregression, https://sander.ai/2024/09/02/spectral-autoregression.html.[7] Dieleman, S. (2024) Diffusion is spectral autoregression,https://sander.ai/2024/09/02/spectral-autoregression.htmlCandidature:Assaad Zeghina (assaad.zeghina@latmos.ipsl.fr), N. Viltard (nicolas.viltard@latmos.ipsl.fr), A. Chazottes (aymeric.chazottes@latmos.ipsl.fr) #J-18808-Ljbffr