Doctorant (F/H) Inversion Acoustique Articulatoire Du Conduit Vocal Complet Et Indépendante Du Locuteur

**Type de contrat**: CDD

**Niveau de diplôme exigé**: Bac + 5 ou équivalent

**Fonction**: Doctorant

**Contexte et atouts du poste**:
**Thématique/Contexte**

Nous avons déjà développé une approche de l’inversion acoustique articulatoire monolocuteur en entraînant l’inversion à partir de données d’IRM temps réel et du signal de parole débruité [1].

**Objectif**

L’objectif est maintenant de développer une inversion multilocuteur complète du conduit vocal. Pour cela nous disposons de données concernant une vingtaine de locuteurs. Ces données sont moins complètes mais elles permettront d’élaborer une procédure de normalisation anatomique pour adapter l’inversion à un nouveau locuteur et de réaliser une adaptation acoustique.

**Environnement**

Nos deux équipes travaillent déjà ensemble étroitement depuis plusieurs années sur la modélisation articulatoire en utilisant intensivement les données de l’IRM dynamique. Nous sommes l’une des équipes les plus en pointe dans l’utilisation de l’IRM temps réel pour le traitement automatique de la parole. Le doctorant pourra disposer des bases de données déjà acquises dans le cadre des projets ANR ArtSpeech (de l’ordre de 10 minutes de parole pour 10 locuteurs) et de celles beaucoup plus de l’ANR Full3DTalkingHead (de l’ordre de 3 heures de parole pour 3 locuteurs). Il sera aussi possible d’acquérir des données complémentaires à l’aide du système d’IRM disponible au laboratoire IADI. Ce projet de doctorat s’appuiera donc sur la coopération actuelle, et bien sûr sur les données et les outils de segmentation que nous avons développés et que nous continuons à améliorer.

L’environnement scientifique des deux équipes est très complémentaire avec une très forte compétence dans tous les domaines de l’IRM et de l’anatomie au sein du laboratoire IADI et de l’apprentissage profond au sein de l’équipe MultiSpeech du Loria. Les deux équipes sont proches géographiquement (1,5 km). Le doctorant aura accès à des moyens techniques (ordinateur, accès aux clusters de calcul) lui permettant de travailler dans de très bonnes conditions. Une réunion de suivi aura lieu chaque semaine et chacune des deux équipes organise un séminaire scientifique hebdomadaire. Le doctorant aura aussi l’occasion de participer à une ou deux écoles d’été et aux conférences en IRM et en traitement automatique de la parole. Il sera aussi aidé pour la rédaction des articles de conférence ou de revue.

Une partie des données concernant l’allemand il est prévu de coopérer avec deux équipes en Allemagne (Universität des Saarlandes et TU Dresden).

**Mission confiée**:
**Travail**

Le travail comportera quatre aspects : (i) l’adaptation anatomique avec ou sans une image IRM statique du nouveau locuteur, (ii) l’adaptation des données acoustiques d’un nouveau locuteur de manière à pour inverser le signal de parole par rapport au modèle construit sur les autres locuteurs, (iii) l’inversion acoustique articulatoire proprement dite (ii) l’évaluation géométrique en mesurant l’écart aux formes du conduit vocal attendues ou l’évaluation à l’aide de variables articulatoires qui correspondent mieux aux informations phonétiques.

La seconde partie du travail portera sur l’adaptation acoustique pour que l’inversion puisse prendre en compte les données acoustiques d’un nouveau locuteur de manière optimale. Cette adaptation doit aussi compenser le fait que les données acoustiques utilisées pour l’apprentissage de l’inversion ont été enregistrées dans un bruit intense (celui de la machine IRM) et qu’elles ont dû être débruitées. L’adaptation acoustique est un thème qui a donné lieu à de nombreux travaux en traitement automatique de la parole et il existe donc plusieurs pistes pour aborder cette question efficacement.

Pour l’inversion elle-même l’approche actuelle repose souvent sur des LSTM bidirectionnels et consiste à retrouver le contour des articulateurs. Il sera possible d’ajouter une information d’attention concernant l’impact phonétique de tel ou tel articulateur pour améliorer la cohérence des résultats de l’inversion.

Le dernier aspect concerne l’évaluation. Il peut s’agir d’une évaluation purement géométrique entre la position du contour attendu et celle du contour retrouvé par inversion. Il peut aussi s’agir d’une évaluation à l’aide de variables articulatoires moins précises mais qui reflètent les propriétés acoustiques attendues.

**Bibliographie**

[1] Azzouz, S., Vuissoz, P.A. and Laprie, Y. 2024. Complete reconstruction of the tongue contour through acoustic to articulatory inversion using real-time MRI data.

[2] Oura, A., Kikuchi, H. and Kobayashi, T. 2024. Preprocessing for acoustic-to-articulatory inversion using real-time MRI movies of Japanese speech. (2024), 1550-1554.

[3] Parrot, M., Millet, J. and Dunbar, E. 2020. Independent and Automatic Evaluation of Speaker-Independent Acoustic-to-Articulatory Reconstruction. _Proceedings of INTERSPEECH 2020, 21st Annual Conference of the International Speech Commun