Doctorant F/H Détection automatique multimodale des disfluences typiques du bégaiement

Type de contrat : CDD

Niveau de diplôme exigé : Bac + 5 ou équivalent

Fonction : Doctorant

Contexte et atouts du poste

Introduction

Le bégaiement, trouble de la fluence affectant des millions de personnes, se caractérise par des disfluences spécifiques (blocages, prolongations, répétitions) liées à un dysfonctionnement du contrôle moteur de la parole. Leur détection automatique, bien que déjà explorée via des modèles audios, reste limitée par une faible robustesse, une difficulté à identifier certaines disfluences comme les blocages silencieux, et une dépendance à des données rares. Cette thèse propose une approche multimodale (audio, vidéo, texte) pour améliorer la précision et la robustesse de la détection, en s'appuyant sur un corpus audiovisuel de locuteurs francophones bègues. L'analyse reposera sur des techniques d'encodage spécifiques à chaque modalité, suivies d'une fusion stratégique de leurs représentations pour une classification finale.

Les objectifs

L'objectif de cette thèse est de concevoir, développer et évaluer une approche multimodale d'apprentissage profond pour la détection automatique des disfluences typiques du bégaiement en français, en combinant les modalités audio, vidéo et textuelle. Le travail s'appuiera sur un corpus audiovisuel annoté de locuteurs francophones bègues, avec une attention particulière portée aux disfluences difficiles à détecter par l'audio seul, comme les blocages silencieux, et à la robustesse face à la variabilité individuelle.

Mission confiée

Missions

Les missions du doctorant s'articuleront autour des axes suivants :

Encodage audio : Implémenter et adapter Stutternet (Sheikh, S. A., Sahidullah, M., Hirsch, F., & Ouni, S. – 2021- Stutternet: Stuttering detection using time delay neural network. In EUSIPCO) pour extraire des caractéristiques acoustiques pertinentes à la détection de disfluences, en capturant les dépendances temporelles.

Encodage vidéo : Développer et entraîner des modèles de vision (par exemple C3D ou Transformers) pour analyser les séquences vidéos à la recherche d'indices visuels du bégaiement (tensions faciales, clignements, mouvements atypiques). L'extraction de landmarks faciaux (avec OpenFace ou MediaPipe) sera également explorée comme source complémentaire ou alternative de caractéristiques.

Encodage texte : Générer des transcriptions automatiques (via Whisper) et les encoder à l'aide de modèles de langage pré-entraînés (BERT, RoBERTa) afin d'extraire le contexte linguistique et de repérer des schémas textuels caractéristiques des disfluences.

Fusion multimodale : Mettre en œuvre et comparer plusieurs stratégies de fusion des représentations issues des trois modalités, telles que la concaténation, les mécanismes d'attention adaptatifs ou d'autres approches exploitant la complémentarité des données.

Classification et évaluation : Développer un classifieur opérant sur la représentation fusionnée pour prédire la présence ou l'absence de bégaiement dans une fenêtre temporelle donnée. L'évaluation s'appuiera sur des métriques standards (précision, rappel, F1-score, AUC), avec une comparaison aux annotations manuelles expertes. Des analyses qualitatives seront également menées pour interpréter les erreurs du modèle et affiner l'approche.

Au-delà de la détection, la thèse vise à apporter une contribution méthodologique au domaine de la fusion multimodale appliquée à la parole pathologique, avec un potentiel impact en contexte clinique.

Principales activités

Compétences attendues

Le candidat devra avoir un master en informatique, de solides compétences en apprentissage automatique et profond, une bonne maîtrise de Python et des frameworks comme PyTorch ou TensorFlow, ainsi qu'un intérêt pour le traitement du signal (audio/vidéo) et, idéalement, pour le NLP. Autonomie, rigueur, esprit critique et capacités d'analyse sont indispensables, tout comme de bonnes compétences en communication pour évoluer dans un environnement pluridisciplinaire. Un intérêt pour la phonétique, la linguistique et les troubles de la parole, en particulier le bégaiement, sera un plus.

Compétences

Compétences attendues

Le candidat devra avoir un master en informatique, de solides compétences en apprentissage automatique et profond, une bonne maîtrise de Python et des frameworks comme PyTorch ou TensorFlow, ainsi qu'un intérêt pour le traitement du signal (audio/vidéo) et, idéalement, pour le NLP. Autonomie, rigueur, esprit critique et capacités d'analyse sont indispensables, tout comme de bonnes compétences en communication pour évoluer dans un environnement pluridisciplinaire. Un intérêt pour la phonétique, la linguistique et les troubles de la parole, en particulier le bégaiement, sera un plus. Des capacités de travail en groupe, avec une équipe pluridisciplinaire.

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale

Rémunération

2300 € brut/mois

Informations générales

• Thème/Domaine : Langue, parole et audio

Calcul Scientifique (BAP E)
- Ville : Villers lès Nancy
- Centre Inria : Centre Inria de l'Université de Lorraine
- Date de prise de fonction souhaitée :
- Durée de contrat : 3 ans
- Date limite pour postuler :

Attention: Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.

Consignes pour postuler

Sécurité défense :

Ce poste est susceptible d'être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n° relatif à la protection du potentiel scientifique et technique de la nation (PPST). L'autorisation d'accès à une zone est délivrée par le chef d'établissement, après avis ministériel favorable, tel que défini dans l'arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l'annulation du recrutement.

Politique de recrutement :

Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

Contacts

• Équipe Inria : MULTISPEECH
• Directeur de thèse :

Ouni Slim /

L'essentiel pour réussir

Contexte du travail

Le doctorant sera impliqué dans un projet de recherche pluridisciplinaire associant deux laboratoires complémentaires : le LORIA, spécialisé en informatique, avec une expertise en traitement de la parole et en apprentissage profond, et PRAXILING, laboratoire en sciences du langage reconnu pour ses travaux en phonétique et sur le bégaiement. La recherche s'appuiera sur un corpus audiovisuel existant et annoté de locuteurs francophones présentant des troubles de la fluence. La thèse sera encadrée conjointement par des chercheurs en informatique et en sciences du langage, assurant une co-supervision interdisciplinaire. Elle se déroulera principalement au LORIA, à Nancy, avec des séjours réguliers au laboratoire Praxiling, à Montpellier, pour avoir des échanges scientifiques et enrichir l'approche de la problématique par une double expertise.

A propos d'Inria

Inria est l'institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l'interface d'autres disciplines. L'institut fait appel à de nombreux talents dans plus d'une quarantaine de métiers différents. 900 personnels d'appui à la recherche et à l'innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.

---