Synthèse de Fonds Texturés Par Modèles de

**Synthèse de fonds texturés par modèles de diffusion**:

- Réf **ABG-126241**
- Stage master 2 / Ingénieur- Durée 5 mois- Salaire net mensuel 1000- 11/10/2024- ONERA - The French Aerospace Lab- Lieu de travail- palaiseau Ile-de-France France- Champs scientifiques- Mathématiques- 01/01/2025**Établissement recruteur**:
**Site web**:
L'ONERA (Office national d'études et de recherches aérospatiales) a pour mission

De développer et d'orienter les recherches dans le domaine aérospatial

De concevoir, de réaliser, de mettre en œuvre les moyens nécessaires à l'exécution de ces recherches

**Description**:
**Contexte**:

L’évaluation des performances des capteurs optiques et SAR nécessite de disposer de scènes de référence et de prendre en compte la variabilité des objets d’intérêt et du fond, donc de pouvoir générer rapidement des images reproduisant les niveaux radiométriques et la texture des fonds naturels réels, que ce soit pour compléter les bases de données expérimentales ou pour remplacer des codes de simulation coûteux pour des évaluations de grandeurs statistiques.

prédiction de couverture nuageuse afin de décider de déclencher ou non une prise de vue, et donc optimiser la planification des constellations de satellites agiles pour l’observation de la terre, mais aussi pour prédire la disponibilité des liens de communications optiques entre les stations sol et les satellites ;
- détection d’anomalies : la synthèse de fond naturels, notamment pour plusieurs longueurs d’onde ou bandes de fréquence, permettra de générer à volonté des images pour entraîner des algorithmes de détection.

**Objectifs**:

Notre objectif est d’être en mesure de générer une base de données d’images de fonds naturels à partir d’un petit nombre de données mesurées ou issues de codes coûteux, en conservant les mêmes niveaux radiométriques et le même taux de couverture nuageuse pour les nuages, mais avec une répartition spatiale différente. Outre des temps de calculs faibles, le principal point dur est de garantir à la fois la diversité des images générées et leur réalisme physique, notamment au niveau du caractère multi-échelle des textures.
-Depuis les travaux de Gatys et al. [Gatys2015], les réseaux de neurones convolutionnels se sont imposés comme l’état de l’art en synthèse de texture par l’exemple. L’idée principale de ces travaux repose sur l’utilisation de réseaux convolutionnels déjà entraînés pour une tâche de reconnaissance d’objets pour extraire des caractéristiques d’une image et générer de nouvelles textures à partir d’un bruit blanc, de façon à minimiser l’écart entre les matrices de Gram dans l’espace des caractéristiques de l’image d’origine et de l’image synthétique.
-Dans le cadre de de la thèse de Pierrick Chatillon (2020-2023), nous avons proposé une implémentation d’un ensemble de contraintes statistiques associées à des a priori physiques sur les textures, notamment sur les distributions des histogrammes et sur les pentes spectrales qui, combinées à des réseaux de type Gatys ou StyleGAN [Karras2019], conduisent à des résultats de synthèse très satisfaisants sur des images RGB de nuages [Chatillon2023]. Une extension à des données hyperspectrales et à des cubes 3D est en cours dans le cadre de la thèse de Sélim Ollivier (2023-2026).

Le but du stage est d’adapter les architectures de type diffusion ViT à nos données de fonds naturels texturés. Les principaux points durs sont:

La prise en compte d’images multispectrales, dans une dizaine de longueur d’onde, ou d’images SAR dans plusieurs bandes de fréquences et de cubes d’images 3D de contenu en eau ou en glace, au lieu des images RGB traditionnellement synthétisées ;
- Le respect de contraintes physiques, comme la propriété de décroissance en puissance du spectre de Fourier ou la couverture fractionnaire pour les nuages ;
- La gestion de la diversité des images générées.
Afin d’évaluer les apports des architectures de type Diffusion ViT mises en œuvre dans le cadre du stage par rapport aux approches de type Gatys et GAN que nous avons développées, nous nous appuierons sur des bases de données d’images de nuages (issues de simulations ou du satellite Sentinel2) et de textures (bases de données publiques HyTeXiLa ou MacroTextures).

**Collaboration**: Luc Vignaud - ONERA DEMR

**Références bibliographiques**:

-[Gatys2015] L. Gatys et al, Texture synthesis using convolutional neural networks. In Advances in neural information processing systems, pages 262-270, 2015.
-[Karras2019] T. Karras, et al, Analyzing and Improving the Image Quality of StyleGAN, arXiv: 1912.04958, 2019.
-[Chatillon2023] P. Chatillon, Y. Gousseau, S. Lefebvre, A geometrically aware auto-encoder for multi-texture synthesis, SSVM 2023, ArXiv: 2302.01616.
-[Vignaud2021] IGAN: Inferent and Generative Adversarial