Doctorant (F/H) Synthèse de La Parole Multilingue

**Type de contrat **:CDD **Niveau de diplôme exigé **:Bac + 5 ou équivalent **Fonction **:Doctorant **Contexte et atouts du poste**: Cette thèse se place dans le cadre du Défi Inria COLaF "Corpus et Outils pour les Langues de France", dont l’objectif est de créer des corpus, des modèles et des logiciels ouverts et inclusifs pour les langues de France. Cela inclut les langues régionales (alsacien, breton, corse, occitan, picard, etc.) et d’outre-mer (créoles, langues polynésiennes, langues kanakes, mahorais, etc.) et les langues d’immigration non-territoriales (arabe dialectal, arménien occidental, berbère, judéo-espagnol, romani, yiddish). Le/la doctorant.e sera co-encadré.e par Vincent Colotte, Pascale Erhart et Emmanuel Vincent. Il/elle bénéficiera de l'expertise de l'équipe Multispeech en traitement de la parole et celle de LiLPa en dialectologie, en phonétique de corpus et en TAL. Il/elle collaborera avec les ingénieurs chargés de la création et la distribution des corpus et des briques logicielles et avec les autres partenaires du projet. **Mission confiée**: La synthèse vocale est une technologie-clé pour la valorisation des langues régionales et d'immigration. Ces langues restent cependant largement ignorées des fournisseurs de technologies linguistiques [1], qui entraînent classiquement les systèmes de synthèse vocale sur des jeux de données monolingues de haute qualité enregistrés en studio par un petit nombre d’acteurs professionnels. Cette méthode induit un coût élevé pour chaque langue et limite le nombre de voix et leur expressivité. L’objectif de la thèse est de concevoir un système de synthèse vocale multilingue et multi-voix applicable aux langues régionales. Parmi les systèmes de synthèse vocale multilingue existants, IMS Toucan [2] est le seul à couvrir plus de 7000 langues. Il s'appuie sur le phonétiseur multilingue transphone [3], l'encodeur articulatoire PanPhon [4], le synthétiseur FastSpeech 2 [5] conditionné sur des plongements de locuteur et de langue et le vocodeur HiFi-GAN [6] entraînés sur un corpus de 18000 heures de parole en 462 langues. Deux défis subsistent: réduire le caractère haché de la voix et les erreurs de phonétisation, tous deux plus prononcés pour les langues peu dotées non vues à l'apprentissage. [2] F. Lux, S. Meyer, L. Behringer, F. Zalkow, P. Do, M. Coler, E.A.P. Habets, N.T. Vu, “Meta learning text-to-speech synthesis in over 7000 languages”, in _Interspeech_, 2024, pp.4958-4962. [3] X. Li, F. Metze, D. Mortensen, S. Watanabe, and A. Black, “Zero-shot learning for grapheme to phoneme conversion with language ensemble”, in _Findings of ACL_, 2022, pp.2106-2115. [4] D.R. Mortensen, P. Littell, A. Bharadwaj, K. Goyal, C. Dyer, L.S. Levin, “PanPhon: A resource for mapping IPA segments to articulatory feature vectors”, in _26th International Conference on Computational Linguistics (COLING)_, 2016, pp.3475-3484. [5] Y. Ren, C. Hu, X. Tan, T. Qin, S. Zhao et al., “FastSpeech 2: Fast and high-quality end-to-end text to speech”, in _9th International Conference on Learning Representations (ICLR)_, 2021. [6] J. Kong, J. Kim, J. Bae, “HiFi-GAN: Generative adversarial networks for efficient and high fidelity speech synthesis”, in _NeurIPS_, 2020, pp.17022-17033. **Principales activités**: Pour réduire le caractère haché, nous exploiterons les enregistrements vocaux disponibles pour les langues régionales et d'immigration visées et pour d'autres langues proches sur le plan phonétique et/ou morphologique. Ces enregistrements issus d'archives ouvertes ou privées (radios, télévisions, web, etc.) n’ont pas toujours été réalisés et transcrits avec une qualité adaptée à la synthèse vocale. Nous nous appuierons sur des systèmes d'estimation de qualité sonore [7] et de transcription [8] pour sélectionner automatiquement les données de haute qualité. Pour améliorer la phonétisation, nous exploiterons en sus de ces données vocales les connaissances phonologiques et phonétiques disponibles, avec une attention particulière à l'alternance codique et à la variabilité des prononciations. Une méthode d'apprentissage actif permettant la correction itérative des prononciations pourra être évaluée. [7] S. Ogun, V. Colotte, E. Vincent, “Can we use Common Voice to train a Multi-Speaker TTS system?”, in _2022 IEEE Spoken Language Technology Workshop (SLT)_, 2023, pp. 900-905. [8] K. Fan, J. Wang, B. Li, S. Zhang, B. Chen, N. Ge, Z. Yan, “Neural zero-inflated quality estimation model for automatic speech recognition system”, in _Interspeech_, 2020, pp. 606-610. [9] D. Bernhard, A.L. Ligozat, M. Bras, F. Martin, M. Vergez-Couret, P. Erhart, J. Sibille, A. Todirascu, P. Boula de Mareüil, D. Huck, “Collecting and annotating corpora for three under-resourced languages of France: Methodological issues”, _Language Documentation & Conservation_, 2021, 15, p