Phd Position F/m End-to-end Speech-to-sign Language

il y a 1 semaine

Strasbourg, Grand Est, France Inria Temps plein
Le descriptif de l'offre ci-dessous est en Anglais_

Type de contrat :

CDD

Niveau de diplôme exigé :
Bac + 5 ou équivalent

Fonction :
Doctorant

Contexte et atouts du poste:

Mission confiée:

Motivation and context


Sign language generation involves translating the spoken or written language into the visual-manual modality of sign language, effectively converting auditory or text information into corresponding sign language gestures and expressions.

An automatic translation system for this task requires access to a sufficiently large parallel corpus of aligned speech and sign data.

Moreover, previous work on sign language translation has shown that having an intermediate-level presentation of sign meta-symbols, known as gloss, is beneficial for translation performance.

Gloss is essentially a morpheme-by-morpheme "translation" using English words.

However, the field of sign language research does not have large-scale gloss-annotated corpora that would allow for the immediate use of a sign language generation system.

Most existing corpora come from small discourse domains with a limited vocabulary, such as weather forecasts [1]. These corpora often present inherent problems with the acquisition itself, such as low resolution, motion blur, and interlacing artifacts.


Moreover, a main limitation of existing sign language generation systems is that the introduction of any intermediate representation removes some information from the source message.

More precisely, the intermediation of text, obtained from input speech using automatic recognition systems, removes prosodic information carried by speech.

The intermediation of glosses removes information about the inflection of the execution on signs with respect to their citation form.


Principales activités:

Objectives
This project involves modeling the generation of sign gestures from speech.

It aims to achieve direct translation from continuous speech, rather than text, to sign language through an end-to-end approach, bypassing the need for gloss annotations.

Its main goal is to create a model that can produce high-quality, photorealistic animations of a 3D avatar straight from speech inputs.

This will be accomplished by utilizing the latest developments in large-scale speech and vision-language modeling [2], self-supervised/unsupervised learning [3], and natural language processing techniques.


We will be building upon the work of [4], to develop a system based on a diffusion model [5], We will build a conditional generative model capable of generating gesture data conditioned on input speech.

In this process, we discard the intermediate conversion stage from text to gloss and directly perform a more efficient translation from spoken language to pose.

For this project, we will use public corpora of parallel sign data, for fine-tuning and semi-supervised learning purposes, and a large corpus of unannotated sign language gestures and speech collected and partially preprocessed for German.


References
[1] H. Cooper and R.

Bowden, Learning signs from subtitles:
A weakly supervised approach to sign language recognition, in 2009 IEEE Conference on Computer Vision and Pattern Recogni
- tion, pp , 2009.

[2] Benjia Zhou, Zhigang Chen, Albert Clapés, Jun Wan, Yanyan Liang, Sergio Escalera, Zhen Lei, and Du Zhang Gloss-free sign language translation: Improving from visual-language pretraining. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages

[3] Guo, Z., He, Z., Jiao, W., Wang, X., Wang, R., Chen, K., Tu, Z., Xu, Y. and Zhang, M., 2024. Unsupervised Sign Language Translation and Generation.

arXiv preprint arXiv:
[4] Fang, S., Sui, C., Zhang, X., Tian, Y.

SignDiff:
Learning Diffusion Models for American Sign Language Production.

arXiv preprint arXiv:
, 2023.

Compétences:

Avantages:

  • Subsidized meals
  • Partial reimbursement of public transport costs
  • Leave: 7 weeks of annual leave + 10 extra days off due to RTT (statutory reduction in working hours) + possibility of exceptional leave (sick children, moving home, etc.)
  • Possibility of teleworking (after 6 months of employment) and flexible organization of working hours
  • Professional equipment available (videoconferencing, loan of computer equipment, etc.)
  • Social, cultural and sports events and activities
  • Access to vocational training
  • Social security coverage

Rémunération:

2100€ gross/month the 1st year

Informations générales:

-
Thème/Domaine: Langue, parole et audio
Statistiques (Big data) (BAP E)

-
Ville: Villers lès Nancy

-
Centre Inria: Centre Inria de l'Université de Lorraine
-
Date de prise de fonction souhaitée:
-
Durée de contrat: 3 ans
-
Date limite pour postuler:

Consignes pour postuler:

Sécurité défense:

Ce poste est susceptible d'être affecté dans une zone à régime restricti

  • English Language Instructor in Strasbourg

    il y a 1 semaine

    Strasbourg, Grand Est, France Babylangues Temps plein

    English-speaking Instructor (H/F) in Strasbourg, France.As a Babylangues instructor, you will respond to the childs daily needs entirely in English: seeing them after school, playing with them at home or in the park, reading bedtime stories... teaching them syntax, pronunciation and vocab in a natural way, away from textbooks and the school environmentYou...

  • Commercial B to C

    il y a 1 semaine

    Strasbourg, Grand Est, France La Maison des Energies Temps plein

    La Maison des Energies est spécialisée dans l'installation B to B et B to C de systèmes de chauffage écologique et d'énergie solaire.Notre savoir-faire et notre expérience font de nous le leader français en matière d'indépendance énergétique.Dans le cadre de notre développement, nous recherchons un **commercial B to C **(H/F) pour renforcer notre...

  • Doctorant (F/H) Synthèse de La Parole Pour

    il y a 1 semaine

    Strasbourg, Grand Est, France Inria Temps plein

    **Type de contrat **:CDD**Niveau de diplôme exigé **:Bac + 5 ou équivalent**Fonction **:Doctorant**Contexte et atouts du poste**:Cette thèse se place dans le cadre du Défi Inria COLaF "Corpus et Outils pour les Langues de France", dont l'objectif est de créer des corpus, des modèles et des logiciels ouverts et inclusifs pour les langues de France....

  • Commercial B to C

    il y a 1 semaine

    Strasbourg, Grand Est, France France Solar Temps plein

    Leader dans l'Est de la France depuis 2009, France Solar est une entreprise spécialisée dans le domaine des **énergies renouvelables**.Nous achetons, concevons et assemblons des systèmes d'énergies renouvelables **:ballons thermodynamiques**, **panneaux photovoltaïques** (revente ou autoconsommation) dans le respect des normes européennes et dans le...

  • Ingénieur d'Études et Développement Back-End C# H/F

    il y a 1 semaine

    Strasbourg, Grand Est, France EURO-INFORMATION DEVELOPPEMENTS Temps plein

    Vos missionsMission principaleNous recherchons pour notre secteur Services de paiement Wallet et Web, un Ingénieur d'études et développement back-end web (H/F). Le secteur a pour mission générale la conception et le développement de services clients, notamment d'applications mobiles et web innovantes dans les domaines des solutions de paiement en...

  • Ingénieur d'Etudes et Développement Back-End C++ H/F

    il y a 1 semaine

    Strasbourg, Grand Est, France EURO-INFORMATION DEVELOPPEMENTS Temps plein

    Notre raison d'être : Ensemble, Ecouter et Agir.Vos missionsNous recherchons pour notre secteur Services de paiement Wallet et Web, un(e) Ingénieur d'études et développement back-end web.Le secteur a pour mission générale la conception et le développement de services clients, notamment d'applications mobiles et web innovantes dans les domaines des...

  • Commercial B to B

    il y a 1 semaine

    Strasbourg, Grand Est, France Samsic Emploi - Audincourt Temps plein

    SAMSIC EMPLOI AUDINCOURT recrute pour son client, un COMMERCIAL B to B (H/F).Auprès d'un portefeuille de clients et de prospects sur un secteur donné, vous commercialiserez des solutions d'impression et de dématérialisation.Vos principales missions seront les suivantes:- Conseille et accompagnement des clients jusqu'à la signature de l'offre,-...

  • Développement Front-end @saabre

    il y a 1 semaine

    Strasbourg, Grand Est, France Saabre Temps plein

    **FullStack React (H/F)**Pour accompagner notre développement de nouveaux outils pour garantir la stabilité et la performance de nos sites média, nous sommes à la recherche du prochain membre de notre équipe tech qui nous accompagnera en développement **Fullstack React** en CDI. Aux côtés d'Aymeric, notre lead dev, vos missions seront:- Intervenir...

  • Researcher (M/W) multi-step organic synthesis

    il y a 4 semaines

    Strasbourg, Grand Est, France CNRS Temps plein

    10 Dec 2023Job Information Organisation/CompanyCNRSDepartmentInstitut de Chimie et Procédés pour l'Energie, l'Environnement et la SantéResearch FieldChemistryPhysicsTechnologyResearcher ProfileFirst Stage Researcher (R1)CountryFranceApplication Deadline30 Dec 2023 – 23:59 (UTC)Type of ContractTemporaryJob StatusFull-timeHours Per Week35Offer Starting...

  • Researcher (M/W) multi-step organic synthesis

    il y a 1 mois

    Strasbourg, Grand Est, France CNRS Temps plein

    10 Dec 2023Job Information Organisation/CompanyCNRSDepartmentInstitut de Chimie et Procédés pour l'Energie, l'Environnement et la SantéResearch FieldChemistryPhysicsTechnologyResearcher ProfileFirst Stage Researcher (R1)CountryFranceApplication Deadline30 Dec 2023 – 23:59 (UTC)Type of ContractTemporaryJob StatusFull-timeHours Per Week35Offer Starting...

  • Researcher (M/W) multi-step organic synthesis

    il y a 1 semaine

    Strasbourg, Grand Est, France CNRS Temps plein

    10 Dec 2023Job Information Organisation/CompanyCNRSDepartmentInstitut de Chimie et Procédés pour l'Energie, l'Environnement et la SantéResearch FieldChemistryPhysicsTechnologyResearcher ProfileFirst Stage Researcher (R1)CountryFranceApplication Deadline30 Dec 2023 – 23:59 (UTC)Type of ContractTemporaryJob StatusFull-timeHours Per Week35Offer Starting...

  • Développeur Back-End .NET

    il y a 1 semaine

    Strasbourg, Grand Est, France OpenClassrooms Temps plein

    Développeur Back-End .NET - (H/F) - En alternanceApprenez un métier d'avenir en alternance avec OpenClassrooms.OpenClassrooms recherche un Développeur Back-End .NET en contrat d'apprentissage pour un de nos partenaires du secteur de la technologie, pour préparer une de ses formations diplômantes rec

  • Chauffeur Livreur

    il y a 1 semaine

    Strasbourg, Grand Est, France Drive to home Temps plein

    Créée en 2021, Drive to Home est une filiale de HOPPS Group, experte du dernier kilomètre et spécialisée dans la livraison professionnelle de courses à domicile. Partout en France, Drive to Home propose aux entreprises un service de livraison de courses aux domiciles des consommateurs mais également la livraison vers les Drive piétons, la logistique...

  • Développeur Back-End .NET

    il y a 1 semaine

    Strasbourg, Grand Est, France OPENCLASSROOMS Temps plein

    Développeur Back-End .NET - (H/F) - En alternance Apprendre un métier prometteur en alternance avec OpenClassrooms Recherche d'un Développeur Back-End .NET - (H/F) en contrat d'apprentissage Opportunité chez l'un de nos partenaires technologiques Préparation d'une formation spécialisée

  • Commercial B to B

    il y a 1 semaine

    Strasbourg, Grand Est, France CABINET LDS Temps plein

    **Client**FCE Consulting, cabinet de recrutement et de conseil, recrute pour l'un de ses clients qui est une ETI spécialisée dans les solutions d'impression et de gestion documentaire. Dans le cadre de son développement, nous recherchons au sein de son antenne basée à Strasbourg (67) **un(e) Commercial B to B H/F.****Poste**Sous la direction d'un chef...

  • Commercial B to B

    il y a 1 semaine

    Strasbourg, Grand Est, France CABINET LDS Temps plein

    **Client**FCE Consulting, cabinet de recrutement et de conseil, recrute pour l'un de ses clients qui est une ETI spécialisée dans les solutions d'impression et de gestion documentaire. Dans le cadre de son développement, nous recherchons au sein de son antenne basée à Strasbourg (67) **un(e) Commercial B to B H/F.****Poste**Sous la direction d'un chef...

  • Commercial B to B

    il y a 1 semaine

    Strasbourg, Grand Est, France CABINET LDS Temps plein

    **Client**FCE Consulting, cabinet de recrutement et de conseil, recrute pour l'un de ses clients qui est une ETI spécialisée dans les solutions d'impression et de gestion documentaire. Dans le cadre de son développement, nous recherchons au sein de son antenne basée à Strasbourg (67) **un(e) Commercial B to B H/F.****Poste**Sous la direction d'un chef...

  • Commercial B to B

    il y a 1 semaine

    Strasbourg, Grand Est, France CABINET LDS Temps plein

    **Client**FCE Consulting, cabinet de recrutement et de conseil, recrute pour l'un de ses clients qui est une ETI spécialisée dans les solutions d'impression et de gestion documentaire. Dans le cadre de son développement, nous recherchons au sein de son antenne basée à Strasbourg (67) **un(e) Commercial B to B H/F.****Poste**Sous la direction d'un chef...

  • Bnssa Week-end

    il y a 1 semaine

    Strasbourg, Grand Est, France Communauté de Communes du Pays de Bitche Temps plein

    La Communauté de Communes du Pays de Bitche (46 communes, habitants) recrute un B.N.S.S.A.(H/F) pour les week-end pour le centre aquatique intercommunal de Rohrbach-les-Bitche.grade des opérateurs des Activités Physiques et SportivesDirection des Sports, de la Culture et de la Petite Enfance***10 heures hebdomadaire (Planning annualisé, travail tous les...

  • Développeur Back-End .NET

    il y a 4 semaines

    Strasbourg, Grand Est, France OPENCLASSROOMS Temps plein

    Quelles sont les missions ?Apprenez un métier d'avenir en alternance avec OpenClassrooms.OpenClassrooms recherche un Développeur Back-End .NET - (H/F) en contrat d'apprentissage pour un de nos partenaires du secteur de l'entreprise, pour préparer une de ses formations diplômantes reconnues par l'État.Attention : cette offre ne s'adresse qu'aux...