Stage - R&d / Machine Learning -knowledge
il y a 1 jour
_MyScript, c’est une équipe de technophiles passionnés qui ont développé un moteur d'intelligence artificielle permettant la reconnaissance de l’écriture manuscrite. Grâce à cette technologie, nos utilisateurs peuvent créer et gérer du contenu numérique, et donc booster leur efficacité._
**Description du poste**
Notre système de reconnaissance d'écriture manuscrite s'appuie à la fois sur des modèles de formes et sur des modèles de langages, capables d’apporter des connaissances linguistiques. Les performances des modèles de langage neuronaux sont considérablement meilleures que celles des modèles de langage classiques. Malheureusement, de tels modèles peuvent être très volumineux et ralentir considérablement le traitement des tâches.
L’objectif du stage est d’utiliser des techniques de Knowledge Distillation [1] pour améliorer l’apprentissage de modèle de langage de taille acceptable. L’approche consiste à transférer et compresser les connaissances d’un modèle dit Teacher pré-entrainé mais de très grande taille, vers un modèle dit Student de taille acceptable [3] et ainsi utilisable sur des smartphones ou des tablettes par exemple.
Cette approche offre un cadre d’apprentissage générique, innovant et performant qui permet actuellement d’obtenir des résultats états de l’art dans de nombreux domaines [2] tels que la reconnaissance de la parole[4], le TAL [5], le traitement d’image etc [1]. Par ailleurs, des variantes de la technique Knowledge Distillation pourront être étudiées telles que la Self Knowledge Distillation [3][5] et la distillation d’ensemble de modèles Teacher [5][6].
Il sera envisagé de tirer profit de modèles de référence du milieu académique tels que BERT ou GPT2, pré-entrainés sur d’énormes quantités de données textuelles mais beaucoup trop volumineux pour être utilisés en production.
Au sein du département R&D MyScript Labs, le stage consistera à mettre en œuvre ces techniques et analyser des expériences afin d’évaluer le potentiel et les difficultés des méthodes de Knowledge Distillation.
**Mots clés**:
machine learning, deep learning, knowledge distillation, transfer learning, natural language processing, knowledge distillation
**Références**:
[1] Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the knowledge in a neural network.
[2] Abdolmaged Alkhulaifi, Fahad Alsahli, and Irfan Ahmad, (2021) Knowledge Distillation in Deep Learning and its Applications
[3] L. Zhang, C. Bao and K. Ma, "Self-Distillation: Towards Efficient and Compact Neural Networks" in IEEE Transactions on Pattern Analysis & Machine Intelligence
[4] Futami, H., Inaguma, H., Ueno, S., Mimura, M., Sakai, S., Kawahara, T. (2020) Distilling the Knowledge of BERT for Sequence-to-Sequence ASR. Proc. Interspeech 2020, 3635-3639
[5]Hahn, Sangchul and Heeyoul Choi. “Self-Knowledge Distillation in Natural Language Processing.” RANLP (2019).
[6] Allen-Zhu, Zeyuan and Yuanzhi Li. “Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning.” ArXiv abs/2012.09816 (2020)
**Blogs de vulgarisation**:
**Profil**
- Tu es étudiant-e en dernière année d’école d’ingénieur ou M2.
- Tu as une connaissance du langage de programmation Python et d’une librairie d’apprentissage de réseaux de neurones (PyTorch, TensorFlow).
- Tu as une connaissance des méthodes d’apprentissage automatique et des réseaux de neurones.
- Tu maîtrises de l’anglais pour la lecture d’articles scientifiques et la présentation des travaux.
Type d'emploi : Temps plein, Stage
Durée du contrat : 6 mois
Salaire : 900,00€ par mois
Avantages:
- Participation au Transport
- Titre-restaurant
Programmation:
- Du Lundi au Vendredi
- Repos le week-end
- Travail en journée
-
Stage - R&d / Machine Learning - Décodeur
il y a 1 jour
Nantes, France MyScript Temps plein_MyScript, c’est une équipe de technophiles passionnés qui ont développé un moteur d'intelligence artificielle permettant la reconnaissance de l’écriture manuscrite. Grâce à cette technologie, nos utilisateurs peuvent créer et gérer du contenu numérique, et donc booster leur efficacité._ **Description du poste** Les réseaux de neurones...
-
Stage - R&d / Machine Learning - Extraction de
il y a 1 jour
Nantes, France MyScript Temps plein_MyScript, c’est une équipe de technophiles passionnés qui ont développé un moteur d'intelligence artificielle permettant la reconnaissance de l’écriture manuscrite. Grâce à cette technologie, nos utilisateurs peuvent créer et gérer du contenu numérique, et donc booster leur efficacité._ **Stage - R&D / Machine learning - Extraction de traits...
-
Internship - R&d / Machine Learning - Improving
il y a 2 jours
Nantes, France My Script Temps plein**Job description**: Inspired from the recent advances in speech recognition domain with successful improvements in encoder-decoder architecture based neural network models using unpaired text data [Chen21, Gao21, Baskar19], we propose an internship to discover a parallel strategy for the handwriting recognition domain. The internship would comprise of...
-
Stage - R&d / Machine Learning - Amélioration Du
il y a 2 jours
Nantes, France MyScript Temps plein_MyScript, c’est une équipe de technophiles passionnés qui ont développé un moteur d'intelligence artificielle permettant la reconnaissance de l’écriture manuscrite. Grâce à cette technologie, nos utilisateurs peuvent créer et gérer du contenu numérique, et donc booster leur efficacité._ **Description du poste** Inspirés par les récentes...
-
Stage / Alternance Machine Learning Ia
Il y a 4 mois
Nantes, France ELEPHANT technologies Temps pleinOpportunité **Le projet**: ELEPHANT technologies est l’ESN 100% nantaise, spécialisée sur 3 métiers le développement, le test et le pilotage autour de 2 expertises : l’IoT et le digital. Nous sommes une société à taille humaine (60 collaborateurs) avec un fort management de proximité. Rejoindre ELEPHANT technologies c’est l’opportunité de...
-
Machine Learning Phd Engineer
Il y a 7 mois
Nantes, France Innosea Temps plein**Description**: **Be the energy behind change. Join ABL Group.** - INNOSEA, part of the ABL Group, is a specialized multidisciplinary engineering, strategy advisory, and R&D consultant in marine renewable energies. We work in offshore wind, floating solar PV, wave and tidal energy, deep-water technology, hydrogen power, and decarbonization initiatives. 100%...
-
Stage Datascientist
il y a 6 jours
Nantes, France Groupama Assurances Mutuelles Temps pleinAu sein la Direction Marketing, l'équipe Connaissance client prédictif réalise: - les études liées à la connaissance client à base de Machine Learning : scoring, segmentation, étude ad hoc sur les profiling clients et prospect. Ces études comprennent la réalisation des bases de données, de la modélisation statistique, les présentation et le...
-
Formateur - Se Familiariser Au Machine Learning Et
Il y a 7 mois
Nantes, France Humaniance Temps pleinNotre groupe est présent au niveau national avec des formations réalisées en Inter et en Intra entreprise sur toute la France. Nous organisons plus de 100 sessions de formation par mois dans divers domaines et sommes engagés dans une démarche qualité depuis notre création. Nous recherchons un formateur (H/F), pour de futures sessions de...
-
Stage - Ia, Fairness Et Test (F/H)
il y a 1 semaine
Nantes, France KEREVAL Temps plein**Kereval en bref !** Avant toute chose, Kereval, est une entreprise familiale qui veille au bien-être de ses 85 collaborateurs : communication, partage, écoute et convivialité sont nos mots d’ordre. Ce que nous vous proposons c'est d'intégrer une PME ou il fait bon vivre ! Kereval est un laboratoire d’ingénierie de tests logiciels créé en 2002....
-
Stage Projet Plateforme E-learning
Il y a 7 mois
Nantes, France TRIBOFILM Temps pleinDepuis près de 30 ans, TRIBOFILM édite un logiciel GMAO (Gestion de maintenance assistée par ordinateur) pour faciliter le quotidien de nos nombreux clients des secteurs de l’industrie, du tertiaire et des institutions publiques. Présent auprès de très grands groupes industriels et du public, TRIBOFILM a pour objectif de continuer à se développer...
-
Stage R&i
Il y a 7 mois
Nantes, France Segula Technologies Temps pleinDescription de l'entreprise Accélérez votre carrière au sein d’un groupe d’ingénierie mondial à forte croissance. Chez SEGULA Technologies, vous travaillerez sur des projets passionnants et contribuerez à façonner l’avenir au sein d’une entreprise pour qui l’innovation est indissociable de l’ingénierie. Intelligence artificielle,...
-
Stage R&d
il y a 5 jours
Nantes, France LDC Temps pleinVous souhaitez intégrer un groupe en pleine croissance, solide et pérenne, rejoignez LDC, 86 sites, 21 800 salariés et 4.1 Mds d'euros de CA. Pour ce stage vous serez basé(e) à Sablé sur Sarthe, au sein de l'entreprise MARIE, qui conçoit, fabrique et distribue des produits cuisinés élaborés frais et surgelés à destination de la GMS (marques...
-
Stage - Detection D'objets Par Lidar
il y a 7 jours
Nantes, France LACROIX Temps pleinDescription de l'entreprise Convaincu que la technologie devrait contribuer à rendre nos cadres de vie plus simples, durables et sûrs, **LACROIX** (5100 collaborateurs, 619M€ de CA) accompagne ses clients dans la construction et la gestion d’écosystèmes de vie intelligents, grâce à des équipements et des technologies connectés et à travers une...
-
Stage - Data Scientist / Data Engineer
il y a 4 semaines
Nantes, France Generali France Temps plein**Date**:11 déc. 2024 **Lieu de travail**: NANTES, FR, 44300 **Entreprise**:GENERALI VIE **STAGE - DATA SCIENTIST / DATA ENGINEER** - **F/H** Référence : 11817 STAGIAIRE Saint Denis ou Nantes **Generali** Avec plus de 70 millions de clients et un chiffre d’affaires de 82,5 milliards d’euros en 2023, Generali est l’un des leaders de...
-
R&d Engineer
Il y a 2 mois
Nantes, France Innosea Temps plein**Description**: **Be the energy behind the change. Join ABL Group.** **_INNOSEA is part of _**_ABL Group_**_ - the leading global independent energy and marine consultancy, working in energy and oceans to de-risk and drive the energy transition. ABL Group offers technical services across consulting & engineering, loss prevention and loss management to...
-
Stage Informatique
Il y a 7 mois
Nantes, France Europlacer Temps plein**Notre entreprise** Groupe technologique de premier plan, Europlacer développe et fabrique des solutions de haute technologie dans le secteur de l’assemblage de cartes de circuits électroniques. Nous fournissons un panel de clients internationaux allant de la TPE à la multinationale : industrie, aérospatiale et autres environnements de production. Le...
-
Développeu-r-se Javascript
il y a 14 heures
Nantes, France BeApp Temps pleinLocalisation : Nantes - Date de prise de poste : ASAP - Modalité de télétravail : Non - Expérience requise : 0-1 an **Description du poste**: Passionnée d’équitation et de technologie, Anaïs Vivion, la co-fondatrice de Beapp a lancé la startup Kephyre il y a quelques années. Évoluant dans le milieu équestre, cette startup, dont notre agence...
-
Stage Ia
Il y a 6 mois
Nantes, France Groupe LG Temps pleinLe Groupe LG propose de nombreux éléments préfabriqués béton (Escaliers, balcons, dalles, éléments de façade, murs de soutènement, blocs béton et d’autres éléments préfabriqués sur mesure) destinés au domaine des travaux publics, Génie-civil, Ouvrages d’art, agricole, ouvrages fonctionnels et équipements publics, BTP. Il est dirigé par...
-
Stage Pfe
Il y a 2 mois
Nantes, France Geofit Temps pleinSociété française de Géomètres-Experts créée en 1968 à Nantes, **GEOFIT** est aujourd’hui un acteur référent du développement des territoires et de la ville, rassemblant plus de 1400 collaborateurs avec ses filiales. Notre métier consiste à mesurer, quantifier et analyser les données géospatiales pour les transformer en véritables outils...
-
Stage Application Industrielle
Il y a 7 mois
Nantes, France MARIE Temps pleinVous souhaitez intégrer un groupe en pleine croissance, solide et pérenne, rejoignez LDC, 86 sites, 21 800 salariés et 4.1 Mds d'euros de CA. La société Marie à Sablé-sur-Sarthe, 290 salariés, spécialisée dans l'élaboration de plats cuisinés, est une filiale du groupe agroalimentaire LDC connu pour ses marques Loué, Le Gaulois, Maître Coq,...
