Doctorant (F/H) Modèle Articulatoire Du Conduit Vocal Générique Indépendant de La Langue Et Du Locuteur

**Type de contrat**: CDD

**Niveau de diplôme exigé**: Bac + 5 ou équivalent

**Fonction**: Doctorant

**Contexte et atouts du poste**:
**Contexte**

Les méthodes actuelles de synthèse acoustique de la parole multilingue [1] s'appuient sur des représentations statiques des phonèmes, en utilisant des bases de données phonologiques. Bien qu'elles permettent de “plonger” les phonèmes de toutes les langues dans un seul espace afin de fusionner des bases de données acoustiques pour synthétiser la parole de langues dépourvues de ressources, elles ne capturent pas la **dynamique temporelle** du conduit vocal correspondant aux phénomènes d'**anticipation** et de coarticulation de la parole naturelle. Les phénomènes d'anticipation et de coarticulation [2] sont essentiels pour réaliser les contrastes phonétiques. De plus, les gestes articulatoires dépendent de l'anatomie individuelle (forme du palais dur) et nécessitent une précision millimétrique pour garantir les propriétés acoustiques attendues.

**Objectif**

Ce projet vise à synthétiser l'évolution temporelle du conduit vocal pour **toute langue** et **tout locuteur**. Il s'inscrit dans le domaine de la **synthèse articulatoire**, cherchant à modéliser et simuler le processus physique de la production de la parole humaine via des approches avancées.

Le travail fera appel aux bases de données d’IRM temps réel [3] qui fournissent des images de l’évolution de la forme géométrique du conduit vocal dans le plan médio-sagittal à une fréquence de 50 Hz. Cette fréquence suffit pour capturer les gestes des articulateurs lors de la production de la parole. Nous avons des données pour une vingtaine de locuteurs dans plusieurs langues avec des points d’articulation différents.

Le travail consistera à construire un modèle dynamique du conduit vocal qui pourra s’adapter à une langue et un locuteur spécifique à partir de ces données.

**Mission confiée**:
**Travail**

Le travail comportera trois étapes : (i) le recalage anatomique des données d’IRM temps réel dans le but de représenter tous les gestes dans un repère anatomique unique.

(ii) la construction d’un modèle articulatoire générique fusionnant les dynamiques des langues et locuteurs de la base de données utilisée.

(iii) adaptation du modèle générique à une langue ne faisant pas partie de la base de données de départ.

La première étape a pour objectif de pourvoir fusionner les données dynamiques ce qui nécessite donc un recalage anatomique. Cette première étape reposera sur la recherche de points anatomiques visibles et identifiables de manière robuste sur les images IRM. Parmi les nombreuses techniques de recalage qui existent on privilégiera celles qui identifient de manière explicite les points anatomiques afin de pouvoir relier une transformation anatomique aux articulateurs concernés.

La deuxième étape vise à développer un modèle générique dynamique capable de prendre en compte tous les points d’articulation. Dans le modèle que nous avons construit précédemment [4] nous avons utilisé des étiquettes phonétiques discrètes ce qui limite le modèle à une langue dont les points d’articulation correspondent exactement aux phonèmes de la langue cible. Pour obtenir un modèle générique il faudra passer à un codage continu couvrant tout le conduit vocal. L’une des difficultés à résoudre est de pouvoir ajouter une description suffisamment fine pour couvrir les lieux d’articulation mais aussi le degré de constriction et sans doute aussi la forme de la langue et l’arrondissement des lèvres.

La troisième étape consistera à adapter le modèle générique à une langue spécifique décrite par ses points d’articulation et un locuteur décrit par les points anatomiques. Ce modèle pourra être utilisé conjointement avec la synthèse acoustique multilingue ou servir en entrée de simulations acoustiques.

**Biliographie**

[1] Do, P., Coler, M., Dijkstra, J. and Klabbers, E. 2023. Strategies in Transfer Learning for Low-Resource Speech Synthesis: Phone Mapping, Features Input, and Source Language Selection. _12th ISCA Speech Synthesis Workshop (SSW2023)_ (2023), 21-26.

[2] Farnetani, E. and Recasens, D. 2010. Coarticulation and Connected Speech Processes. _The Handbook of Phonetic Sciences: Second Edition_. 316-352.

[3] Isaieva, K., Laprie, Y., Leclère, J., Douros, I., Felblinger, J. and Vuissoz, P.A. 2021. Multimodal dataset of real-time 2D and static 3D MRI of healthy French speakers. _Scientific Data_. 8, (2021).

[4] Ribeiro, V., Isaieva, K., Leclere, J., Vuissoz, P.A. and Laprie, Y. 2022. Automatic generation of the complete vocal tract shape from the sequence of phonemes to be articulated. _Speech Communication_. 141, (Apr. 2022), 1-13.

**Compétences**:
Compétences techniques et niveau requis:
Langues : Anglais, Français apprécié (A2)

**Avantages**:

- Restauration subventionnée
- Transports publics remboursés partiellement
- Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations