Intern, Deep-Reference Frame for Video Coding

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence ("AI"), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today's most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

For more information, visit: 

Summary

The goal of the project is to explore video coding improvement using an additional reference picture generated with a deep neural network (Deep Learning) also known as Deep Reference Frame (DRF).

Since a large part of network traffic consists of video content, image compression has become a key challenge to reduce the volume of transmitted data. The project context is VVC video compression. VVC is the latest video compression standard developed by the ISO/IEC and ITU-T standardization bodies.
Recently, it has been proposed to use deep learning based image generation (DRF: Deep Reference Frame) to predict certain frames and reduce the bitrate of transmitted video content. Indeed, temporal frame interpolation using Deep Learning techniques is advancing rapidly.

Responsibilities

• State-of-art of DRF and analysis of a particular implementation.

• Set up of a complete chain of video coding/decoding implementing DRF

• Propose a new NN module for DRF: dataset generation, training and test.

• Integration into the video codec.

Qualifications

• Required qualifications: knowledge in machine learning, good knowledge of python

• Preferred skills: knowledge of C++ programming, deep learning framework (Pytorch) or scripts writing would be appreciated,

• Other: Research background in signal processing and image processing

Keywords: Video coding, Deep learning, Frame interpolation

Expected Outcomes:

• A complete framework for training NN module for DRF, the NN is included into a video codec.

Location: Rennes, France

InterDigital is an equal employment opportunity employer. InterDigital will not engage in or tolerate unlawful discrimination with regard to any employment decision, policy or practice based on a person's sex, gender, pregnancy (including childbirth, breastfeeding and related medical conditions), age, race, color, religion, creed, national origin, ancestry, citizenship, military status, veteran status, mental or physical disability, medical condition, genetic information, sexual orientation, gender identity or expression, or any other factor protected by applicable federal, state or local  law. This policy applies to all terms and conditions of employment, including, but not limited to, recruiting, hiring, compensation, benefits, training, assignments, evaluations, coaching, promotion, discipline, discharge and layoff.

______________________________________________________________________________

À propos d'InterDigital

InterDigital est une entreprise mondiale de recherche et de développement qui se concentre principalement sur les technologies sans fil, vidéo, d'intelligence artificielle ("AI") et les autres technologies connexes. Nous concevons et développons des technologies fondamentales qui permettent des expériences connectées et immersives dans une large gamme de produits et de services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui fournissent de tels produits et services, notamment des fabricants d'appareils de communication sans fil, d'appareils électroniques grand public, d'appareils IoT, de voitures et d'autres véhicules à moteur, ainsi que des fournisseurs de services basés sur le cloud, tels que la diffusion vidéo. En tant que leader de la technologie sans fil, nos ingénieurs ont conçu et développé un large éventail d'innovations utilisées dans les produits et les réseaux sans fil, depuis les premiers systèmes cellulaires numériques jusqu'à la technologie 5G et les technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader dans le domaine du traitement vidéo et de la technologie de codage/décodage vidéo, avec un important effort de recherche en matière d'IA qui recoupe à la fois les technologies sans fil et les technologies vidéo. Fondée en 1972, InterDigital est une société cotée au NASDAQ.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour plus d'informations, n'hésitez pas à consulter le site

Résumé

Short paragraph about the role, accountabilities, and any business until or department specific information

L'objectif du projet est d'étudier l'amélioration du codage vidéo à l'aide d'une image de référence supplémentaire générée par un réseau neuronal profond (Deep Learning), également connu sous le nom de Deep Reference Frame (DRF).

Étant donné qu'une grande partie du trafic réseau est constituée de contenu vidéo, la compression d'images est devenue un défi majeur pour réduire le volume de données transmises. Le contexte du projet est la compression vidéo VVC. VVC est la dernière norme de compression vidéo développée par les organismes de normalisation ISO/IEC et ITU-T. Récemment, il a été proposé d'utiliser la génération d'images basée sur l'apprentissage profond (DRF : Deep Reference Frame) pour prédire certaines images et réduire le débit binaire du contenu vidéo transmis. En effet, l'interpolation temporelle à l'aide des techniques d'apprentissage profond progresse rapidement.

Responsabilités

• État de l'art du DRF et analyse d'une implémentation spécifique.
• Mise en place d'une chaîne complète de codage/décodage vidéo implémentant la DRF
• Veuillez proposer un nouveau module NN pour DRF : génération d'ensembles de données, formation et test.
• Intégration dans le codec vidéo.

Qualifications

• Qualifications requises : connaissances en apprentissage automatique, bonne maîtrise de Python.
• Compétences souhaitées : la connaissance de la programmation en C++, du framework d'apprentissage profond (Pytorch) ou de l'écriture de scripts serait appréciée.
• Autre : Expérience en recherche dans le domaine du traitement du signal et du traitement d'images

Mots clés : Codage vidéo, apprentissage profond, interpolation d'images

Résultats attendus :

• Un cadre complet pour la formation du module NN pour DRF, le NN est intégré dans un codec vidéo.

Lieu : Rennes, France

InterDigital est un employeur offrant l'égalité des chances en matière d'emploi. InterDigital s'interdit de toute discrimination illégale et ne tolère aucune décision, politique ou pratique prise en matière d'emploi basée sur le sexe, le genre, la grossesse (y compris l'accouchement, l'allaitement et l'état de santé), l'âge, la race, la couleur, la religion, la croyance, l'origine nationale, l'ascendance, la citoyenneté, le statut militaire, le statut de vétéran, le handicap mental ou physique, l'état de santé, les informations génétiques, l'orientation sexuelle, l'identité ou l'expression de genre, ou tout autre facteur protégé par la loi fédérale, nationale ou locale applicable. Cette politique s'applique à toutes les conditions d'emploi, y compris, de façon non limitative, au recrutement, à l'embauche, à la rémunération, aux avantages sociaux, à la formation, aux affectations, aux évaluations, au coaching, à la promotion, à la discipline, au licenciement et à la mise à pied.