Modeles Generatifs Multimodaux Pour L'indexation de
il y a 2 semaines
**MODELES GENERATIFS MULTIMODAUX POUR L'INDEXATION DE VIDEOS TV // MULTI-MODAL GENERATIVE MODELS FOR TV VIDEO INDEXING**:
- Réf **ABG-120160**
**ADUM-53231**
- Sujet de Thèse- 09/02/2024- Télécom SudParis- Lieu de travail- EVRY - France- Intitulé du sujet- MODELES GENERATIFS MULTIMODAUX POUR L'INDEXATION DE VIDEOS TV // MULTI-MODAL GENERATIVE MODELS FOR TV VIDEO INDEXING- Mots clés- indexation vidéo multi-modale, apprentissage par réseaux de neurones profonds, modèles génératifs, architectures de type transformer, architectures CLIPS, modèles de diffusion
- Multi-modal video indexation, deep learning, generative models, transformers, CLIPOS architectures, Diffusion models**Description du sujet**:
- Cette thèse s'inscrit dans le cadre d'une coopération de recherche et développement, établie sous la forme du laboratoire commun IATV (Intelligence Artificielle pour la Télévision) entre Télécom SudParis et France Télévisions.
- La création, la production et la distribution de programmes audiovisuels font l'objet de nombreux travaux impliquant l'analyse des données textuelles, visuelles et sonores, dans le but d'automatiser des process et économiser du temps. Dans ce cadre, une étape essentielle et laborieuse pour l'archivage des documents concerne l'indexation des vidéos produits et diffusés. Géré par les équipes de documentalistes, ce processus complexe doit répondre aux exigences variées, en termes de méta-données sémantiques à identifier et renseigner de façon formalisée, fiable et réutilisable.
- L'objectif de cette thèse est de proposer des solutions innovantes d'indexation vidéo, pouvant accélérer de façon opérationnelle le travail d'indexation. En s'appuyant sur les technologies d'apprentissage profond, il s'agit de détecter, d'identifier et de décrire en langage naturel structures spatio-temporelles, objets, évènements, actions, lieux, personnages ainsi que relations entre ces différents éléments structurants du discours audio-visuel. Cela revient à élaborer une solution d'indexation sémantique en langage naturel des métadonnées descriptives des vidéos s'appuyant sur des méthodologies multimodales et automatiques de création de légendes pour contenus audio-visuels (video captionning).- Les travaux de recherche qui seront proposés dans cette thèse visent notamment l'exploitation, l'adaptation et l'optimisation de ces méthodes génératives multimodales à des objectifs d'indexation automatique en langage naturel de vidéos de télévision. Il s'agit, en un certain sens, d'élaborer un « traducteur video-to-text », pouvant s'adapter à la fois à la structure spatio-temporelle des vidéos et aux contraintes métiers de description des documentalistes.
- Ces travaux de thèse s'attaqueront notamment aux différents défis scientifiques qui restent à lever:
- Les problèmes d'alignement entre composantes visuelle et sonore, qui représentent une condition souvent indispensable pour garantir le bon fonctionnement des systèmes mais qui est rarement satisfaite en pratique,
- La gestion de l'hétérogénéité des contenus et en particulier le manque de cohérence sémantique entre modalités qui peuvent être que partiellement présentes,
- La segmentation adaptative des vidéos en fonction du contenu et des descriptions afférentes que l'on peut leur associer, afin de s'affranchir des solutions relativement naïves et franchir le cap des segments vidéos prédécoupés.
- L'adaptation des descriptions à des terminologies cibles spécifiées à l'aide d'ontologies métier.This thesis is part of a research and development cooperation, established under the form of the joint IATV laboratory (Artificial Intelligence for Television) between Télécom SudParis and France Télévisions.- The objective of this thesis is to propose innovative video indexing solutions, which can accelerate the work of documentalists. By relying on deep learning technologies, the aim is to detect, identify and describe in natural language spatio-temporal structures, objects, events, actions, places, characters as well as relationships between these different structuring elements. This amounts to developing a solution for semantic indexing in natural language of descriptive metadata of videos based on multimodal and automatic video captioning methodologies.- The research work that will be proposed in this thesis aims in particular at the exploitation, adaptation and optimization of such generative methods for automatic indexing of television videos in natural language. In a certain sense, it is a question of developing a “video-to-text translator”, capable of taking into account the spatio-temporal structure of videos and to adapt to the description constraints of professional documentalists.
- In particular, this thesis will tackle the various scientific challenges that remain to be solved, including:
- Problems of alignment between visual and audio components, w
-
Data Scientist
il y a 2 semaines
Paris, France Datadog Temps pleinData Scientist - Large Language Models / Generative AI Paris, France Senior Data Scientist - Large Language Models / Generative AI Our Data Science Large Language Models team uses advanced generative AI technologies to create powerful features within the Datadog application. Our focus lies in the fine-tuning, training, and serving of LLMs to...
-
Data Scientiste 3D Générative Ia
il y a 4 semaines
Paris, France DASSAULT SYSTEMES Temps pleinCATIA est une solution de conception assistée par ordinateur (CAO) développée par Dassault Systèmes, qui permet aux ingénieurs et aux designers de créer, de modéliser et de simuler des produits et des systèmes complexes. **Vos missions**: CATIA fut une des premières solution 3D à inclure des fonctionnalités de design dit génératif, qui...
-
Data Scientiste 3D Générative Ia
il y a 7 jours
Paris, France Dassault Systèmes Temps pleinCATIA est une solution de conception assistée par ordinateur (CAO) développée par Dassault Systèmes, qui permet aux ingénieurs et aux designers de créer, de modéliser et de simuler des produits et des systèmes complexes. **Vos missions**: CATIA fut une des premières solution 3D à inclure des fonctionnalités de design dit génératif, qui...
-
Stagiaire en Ia Générative
il y a 4 semaines
Paris, France Achil Temps pleinFaire partie de notre société, c’est vouloir devenir un **véritable pilier** de notre entreprise et participer à ce projet où l’**humain** est au cœur des priorités. **Présentation de la société** **Inquizyt** est une entreprise basée à Paris. Elle offre aux entreprises la possibilité d'exploiter la puissance de l'intelligence artificielle...
-
IA generative Python
il y a 3 jours
Paris, France CELAD Temps pleinDans le cadre de l'étude et la mise en ?uvre de projet autour de l'IA générative, nous souhaitons faire appel à une ressource expérimentée dans le domaine de l'Intelligence Artificielle. Un POC a été réalisé par un prestataire extérieur, l'objectif est de reprendre les travaux, améliorer l'existant et continuer le projet sur...
-
Styliste Ia Générative
il y a 4 semaines
Paris, France Fyte Recruitment Temps pleinA Paris ou à Strasbourg, mon client, une startup tech dynamique, composée de 20 esprits créatifs, recherche deux talents : des stylistes ou designers spécialisés en mode, luxe ou culture, passionnés par l'IA générative. Missions Le styliste spécialisé en IA générative utilise les technologies d'intelligence artificielle générative pour...
-
Paris, France KEONI CONSULTING Temps pleinContexte La direction Technique du client mène des projets transverses en étroite collaboration avec les autres directions, au service des éditeurs de contenus et de services sur nos différentes offres numériques.Dans le cadre d?expérimentations autour de l?intelligence artificielle générative d?images, nous recherchons un profil ayant une bonne...
-
Data Scientist IA Générative
il y a 3 jours
Paris, France NEXORIS Temps pleinNotre client, secteur bancaire recherche un Data Scientist - IA Générative (H/F) dans le cadre d'un elongue mission. L'objectif est d'améliorer un POC existant et de continuer le développement du projet sur de nouveaux cas d'utilisation dans le domaine de l'IA générative. - Établir des scénarios pour anticiper des leviers...
-
Chef de projet informatique IT
il y a 1 semaine
Paris, France Highteam Temps pleinMissions principales : ?Préparer et animer des comités (supports, planification) et rédaction des compte rendus ?Animation d'une communauté autour de l'IA générative ?Analyser les besoins métiers et IT (recueillir, challenger, reformuler, rédiger) ?Organiser, planifier et piloter des projets intégrant l'IA générative ?Accompagnement...
-
ingénieur informatique(e) Intelligence Artificielle générative
il y a 1 semaine
Paris, France CITECH Temps pleinCITECH recrute ! ? ? Si vous souhaitez apporter vos compétences dans la réalisation d?un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur(e) Intelligence Artificielle générative (H/F) ? Votre mission est pour un grand groupe français de chaines de télévision ? Vous interviendrez dans le cadre...
-
Alternance - Data Scientist - IA Générative F/H
il y a 3 semaines
Paris, France DATA SCIENCE Temps pleinDescription du poste Métier DATA - DATA SCIENTIST Intitulé du poste Alternance - Data Scientist - IA Générative F/H Contrat Alternance Durée du contrat 1 an Finalité du poste Pourquoi nous avons besoin de Toi ? Au sein du pôle Tech de MALAKOFF HUMANIS (incubateur / accélérateur des projets pour tout le...
-
Business analyste informatiquee
il y a 1 semaine
Paris, France Hn Groupe Temps pleinPrestation en charge de concevoir des projets pilotes et produits finis innovants à destination du groupe et des clients. Nous recherchons un business analyst ayant des connaissances sur les sujets d'IA et d'IA générative, afin de travailler notamment au développement et déploiement d'une plateforme de recherche documentaire augmentée par...
-
Paris, 75001, Ile-de-France, Paris KEONI CONSULTING Temps pleinContexte La direction Technique du client mène des projets transverses en étroite collaboration avec les autres directions, au service des éditeurs de contenus et de services sur nos différentes offres numériques.Dans le cadre d?expérimentations autour de l?intelligence artificielle générative d?images, nous recherchons un profil ayant une bonne...
-
Doctorant Sur La Caractérisation Multimodale de
il y a 6 jours
Paris 6e, France CNRS Temps pleinCette offre est disponible dans les langues suivantes: - Français - Anglais Date Limite Candidature : vendredi 11 août 2023 **Informations générales**: **Intitulé de l'offre **:Doctorant sur la caractérisation multimodale de vésicules extracellulaires aidée par intelligence artificielle (H/F)** Référence : UMR7057-FLOGAZ-006 Nombre de Postes :...
-
Business analyste informatiquee
il y a 1 mois
Paris, France HN SERVICES Temps pleinPrestation en charge de concevoir des projets pilotes et produits finis innovants à destination du groupe et des clients. Nous recherchons un business analyst ayant des connaissances sur les sujets d'IA et d'IA générative, afin de travailler notamment au développement et déploiement d'une plateforme de recherche documentaire augmentée par...
-
Alternance - Data Scientist - IA Générative (F/H)
il y a 3 semaines
Paris - 13ème arrondissement, France Malakoff Humanis Temps pleinQuelles seront Tes missions ? Au sein du département Data Science et IA, tu rejoindras l'équipe produit que nous constituons sur les sujets IA génératives (2 product managers, 2 data scientist, 1 data analyst) en relation avec les experts de la Direction Juridique, tu interviendras sur les phases de cadrage et d'exploration et travailleras sur les...
-
Sec Gen
il y a 3 semaines
Paris, France Ministère de l-Économie, des Finances et de la Souveraineté industrielle et numérique Temps pleinDescription du poste En tant que Data Scientist expérimenté au sein du BercyHub, vous jouerez un rôle clé dans la mise en place de l’Intelligence Artificielle Générative au sein des MEF. Responsabilités principales en tant que data scientist : - Analyse de données : Collecter, nettoyer et analyser des ensembles de données volumineux...
-
Alternance - Data Scientist - IA Générative (F/H)
il y a 2 semaines
Paris 13, France Malakoff Humanis Temps pleinQuelles seront Tes missions ?Au sein du département Data Science et IA, tu rejoindras l’équipe produit que nous constituons sur les sujets IA génératives (2 product managers, 2 data scientist, 1 data analyst) en relation avec les experts de la Direction Juridique, tu interviendras sur les phases de cadrage et d’exploration et travailleras sur les...
-
Alternance - Data Scientist - IA Générative (F/H)
il y a 2 semaines
Paris 13 Gobelins, Île-de-France Malakoff Humanis Temps pleinQuelles seront Tes missions ?Au sein du département Data Science et IA, tu rejoindras l'équipe produit que nous constituons sur les sujets IA génératives (2 product managers, 2 data scientist, 1 data analyst) en relation avec les experts de la Direction Juridique, tu interviendras sur les phases de cadrage et d'exploration et travailleras sur les...
-
Dataops 3 Ans Exp Mini
il y a 4 semaines
Paris, France MP DATA Temps pleinMP DATA est une société spécialisée dans l’acquisition, le traitement, et la valorisation des données. Depuis sa création en 2015, MP DATA accompagne ses clients, majoritairement industriels, dans le management de leur performance, l’exploitation de leur données et leur décarbonation par des cas d'usage Data Science. Les collaborateurs, tous...
