doctorant-e : modèles génératifs profonds pour la génération procédurale directe et inverse

L'entraînement de modèles d'apprentissage profond pour l'interprétation d'images aériennes et satellitaires requiert de grandes quantités de données annotées. Toutefois, si d'importants volumes de données d'Observation de la Terre (OT) sont disponibles grâce aux satellites européens Sentinel-2 et aux programmes français d'imagerie SPOT et BDORTHO, cette masse de données est non-étiquetée. En effet, peu d'images de télédétection sont annotées avec des information sémantiques utiles pour entraîner des modèles profonds. Ce phénomène est d'autant plus critique pour la cartographie d'urgence: les catastrophes naturelles sont des événements rares, ce qui réduit d'autant les images disponibles.

Pour pallier ces difficultés, la recherche en intelligence artificielle s'est intéressée à la génération de bases de données d'images synthétiques. La popularisation de l'intelligence artificielle dite générative permet ainsi de produire des jeux de données annotés, en générant des images diverses dans des configurations connues. La génération procédurale est en outre un procédé historiquement bien connu dans la communauté du jeu vidéo, permettant de produire rapidement de grands mondes virtuels en trois dimensions.

L'Institut national de l'information géographique et forestière (IGN) est un établissement public à caractère administratif placé sous la tutelle des ministères chargés de l'écologie et de la forêt. Sa vocation est de produire et diffuser des données (open data) et des représentations (cartes en ligne et papier, géovisualisation) de référence relatives à la connaissance du territoire national et des forêts françaises ainsi qu'à leur évolution. Grâce à son école d'ingénieurs, l'ENSG-Géomatique, et à ses équipes de recherche pluridisciplinaires, l'institut cultive un potentiel d'innovation de haut niveau dans plusieurs domaines (géodésie, forêt, photogrammétrie, intelligence artificielle, analyse spatiale, visualisation 3D, etc.).

Le LASTIG (LAboratoire en Sciences et Technologies de l'Information Géographique pour la ville intelligente et les territoires durables) est une unité mixte de recherche sous la tutelle de l'IGN-ENSG et de l'Université Gustave Eiffel. Le laboratoire mène des recherches finalisées en sciences et techniques de l'information géographique, couvrant l'ensemble du cycle de vie de la donnée géographique ou spatiale. Au sein du laboratoire, l'équipe STRUDEL s'intéresse notamment aux structures spatio-temporelles pour l'analyse des territoires, notamment sur l'extraction et la structuration de connaissances concernant la description du territoire, sur les caractérisations possibles du territoire et de ses évolutions et la réutilisation de ces connaissances pour simuler les évolutions territoriales. Dans ce cadre, l'équipe mène des travaux de recherches sur l'exploitation de données synthétiques pour la simulation, la création de jumeaux numériques et l'apprentissage semi-supervisé.

L'objectif principal de cette thèse est de combiner les forces de l'apprentissage profond et de la génération procédurale basée grammaire pour les données géospatiales.

La génération procédurale désigne les algorithmes de création de contenu, en particulier pour le jeu vidéo . Ces techniquent permettent de créer des mondes virtuels cohérents , notamment pour la modélisation et la simulation du réel, La génération procédurale connaît un regain de popularité car elle permet de produire de grands volumes de données synthétiques annotées, sur lesquels entraîner des réseaux de neurones profonds . Historiquement, la génération procédurale s'est appuyé sur quatre grande familles de méthodes: les approches basées exploration , les approches par satisfaction de contraintes , les méthodes basées grammaire , et les approches par apprentissage .

Les approches basées grammaire (ou assimilées, par exemple basées système-L ) sont particulièrement intéressantes. Elles se fondent sur un langage formel qui définit quelles sont les instances acceptables des objets à générer. Cette grammaire permet d'inclure une connaissance experte et peut être considérée comme interprétable. Cependant, définir manuellement une grammaire requiert une certaine expertise et implique souvent une approche itérative par essai-erreur. En comparaison, la génération procédurale par apprentissage statistique permet d'apprendre à générer des objets à partir d'un corpus existant. Toutefois, les modèles appris sont susceptibles de générer des objets inacceptables (par exemple, des maisons sans aucune porte). Par ailleurs, les approches récentes, notamment par apprentissage profond, nécessitent des jeux de données de grande taille pour exceller, ce qui n'est pas toujours possible. En particulier, les entités géographiques urbaines (typiquement les routes et les bâtiments) doivent respecter des a priori géométriques forts qui peuvent être complexes à satisfaire .

Ce sujet de thèse s'intéresse ainsi à l'hybridation entre la génération procédurale symbolique, en particulier exploitant les grammaires, et l'apprentissage profond. Des approches hybrides peuvent permettre d'apprendre à partir de moins d'exemples, tout en respectant mieux les contraintes imposées sur les données par une grammaire . L'objectif est double:

Dans un premier temps, il s'agit de concevoir des architectures génératives de réseaux de neurones dont les sorties sont contraintes par une grammaire. Ainsi, le modèle sera garanti de ne générer que des objets acceptables vis à vis d'une grammaire fournie par l'usager . Plus précisément, on s'intéressera:

à contraindre les cartes de segmentation d'un modèle prédictif à respecter une grammaire sur l'agencement spatial des objets,

ou bien à des modèles génératifs qui ne peuvent produire que des objets acceptables selon une grammaire imposée, par exemple de bâtiments.

Dans un second temps, de développer des modèles capables d'inférer tout ou partie d'une grammaire à partir d'un corpus d'exemples (génération procédurale inverse et inférence de grammaire). En particulier, on cherchera:

des méthodes capables d'apprendre automatiquement les symboles terminaux du langage, notamment à l'aide de l'apprentissage de prototypes ,

puis à des méthodes capables de déduire les règles de production de la grammaire .

Ces techniques de génération seront appliquées à divers types de données géospatiales en 2D et 3D pour la génération de villes . En particulier, les applications pourront inclure les plans cadastraux (emprises au sol de parcelles et de bâtiments), des modèles 3D de bâtiments (produits manuellement ou extraits du Lidar HD) ou des cartes d'occupation du sol.

Le ou la candidate idéale dispose d'une formation de niveau bac+5 (master ou ingénieur) dans l'un des domaines suivants: science des données, jeu vidéo, géomatique. Il ou elle démontre une expérience de la programmation, en particulier avec le langage Python. Une connaissance des outils de gestion projet informatique, notamment Git, sera appréciée. Une bonne maîtrise de l'anglais (écrit et oral) est un pré-requis. Sans être indispensable, une première expérience avec la génération procédurale, les modèles profonds génératifs ou les données géospatiales est un plus.

• Cadre académique de la recherche au sein du laboratoire LASTIG et de l'université Gustave Eiffel
• Liens avec les services d'innovation et de production de l'IGN pour l'identification de verrous scientifiques à fort impact sociétal
• Pratique possible du télétravail après une période de prise de poste
• Équipements sportifs disponibles sur site
• Associations culturelles et sportives au sein de l'IGN
• Restauration d'entreprise
• Remboursement transport 75% et indemnités kilométriques vélo

Missions ponctuelles dans le cadre de séminaires et de conférences.