Phd Position F/m Efficient Deep Learning

il y a 2 semaines

Talence, France Inria Temps plein

Le descriptif de l’offre ci-dessous est en Anglais_

**Type de contrat **:CDD

**Niveau de diplôme exigé **:Bac + 5 ou équivalent

**Autre diplôme apprécié **:Master's degree in Computer Science/ Mathematics/ Machine Learning/other technical field

**Fonction **:Doctorant

**Contexte et atouts du poste**:
**Objective**

Optimise the training and inference of modern neural networks to create large-scale AI models for science**. **Develop theoretical approaches and corresponding software.

**Is regular travel foreseen for this post?**

Short-term visits to conferences and collaborative laboratories. In particular, the team is involved with a tight collaboration with Caltech within the framework of Associated Team ELF.

**Mission confiée**:
**Scientific Research context**:
**Work description**:
Concerning the training phase, one group of methods proposes advanced parallelization techniques, such as model and pipelined parallelism, for which the members of Topal already contributed [1, 3, 4]. They are used to split models across devices. Another group of methods considers effective optimizers. For example, ZeRO optimizer proposes optimizer state/gradients partitioning to reduce memory footprint during the optimization step. Additionally, to reduce the required per-GPU memory allocation, offloading and checkpointing (or re-materialization) techniques can be used. Offloading to CPU saves memory at the price of an overhead on communications, while activation checkpointing recomputes parts of the computational graph when applied, thus saving memory at the price of an overhead on computations. All types of techniques can be combined to achieve better throughput. Recent papers consider a combination of pipeline parallelism with activation checkpointing techniques [5, 6].

An important point is that algorithms with theoretically better time/memory complexity in practice might provide fewer benefits as it could be expected from analytical derivations. The reason is the overhead caused by specific hardware we use to train or execute neural networks. To make deep learning algorithms efficient in real life it is important to combine software and hardware optimization when creating new deep learning algorithms.

During the PhD we plan to propose novel approaches to improve efficiency (memory/time/communication costs) of neural network training and inference. Particularly, by finding best model execution schedule which allows using different types of techniques, including but not limited to parallelisms, re-materialization, offloading, low-bit computations. Along with theoretical contribution to the field, there will be developed software to automatically optimize the training and inference of modern deep learning architectures.

**References**:
[1] Zhao, X., Le Hellard, T., Eyraud-Dubois, L., Gusak, J. & Beaumont, O. (2023). Rockmate: an Efficient, Fast, Automatic and Generic Tool for Re-materialization in PyTorch. Proceedings of the 40th International Conference on Machine Learning
[2] Gusak, J., Cherniuk, D., Shilova, A., Katrutsa, A., Bershatsky, D., Zhao, X., Eyraud-Dubois, L., Shlyazhko, O., Dimitrov, D., Oseledets, I. & Beaumont, O. (2022, July). Survey on Large Scale Neural Network Training. In IJCAI-ECAI 2022-31st International Joint Conference on Artificial Intelligence (pp. 5494-5501). International Joint Conferences on Artificial Intelligence Organization.
[3] Beaumont, O., Eyraud-Dubois, L., Shilova, A., & Zhao, X. (2022). Weight Offloading Strategies for Training Large DNN Models.
[4] Beaumont, O., Eyraud-Dubois, L., & Shilova, A. (2021). Efficient combination of rematerialization and offloading for training dnns. Advances in Neural Information Processing Systems, 34, 23844-23857.
[5] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V. and Zhang, E., 2022. Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model. arXiv preprint arXiv:2201.11990.
[6] Li, S., & Hoefler, T. (2021, November). Chimera: efficiently training large-scale neural networks with bidirectional pipelines. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (pp. 1-14).

**Principales activités**:
**Activities**:

- Implement different techniques for efficient multi-GPU training and inference.
- Proposal of new approaches for efficient deep learning (based on pipelining, checkpointing, offloading, and other optimization techniques).
- Development of software to automatically optimise the training and inference of modern deep learning architectures.
- Analyze the performance of models using profiling tools.
- Write scientific papers
- Collaborate with Topal colleagues in Europe and US

**Compétences**:
**Technical skills and level required**:

- Good knowledge in Machine Learning and Deep Learning
- Basic knowledge in Linear algebra, Optimization,

  • Laser Processing Engineer

    il y a 7 jours

    Talence, France ALPhANOV Temps plein

    Created in 2007, ALPhANOV is a technology centre member of the excellence cluster ‘Route des lasers et des hyper frequences’ and has today more than 95 employees. ALPhANOV targets the development of cutting-edge and innovative solutions, products, and techniques in the field of optics and laser technology for a variety of different markets, such as...

  • PhD Position F/M Modeling of groundwater-river exchanges for climate change predictions

    Trouvé dans: Talent FR C2 - il y a 2 semaines

    Talence, France INRIA Temps plein

    Contexte et atouts du poste This project is a collaboration with the inria CARDAMOM team and the I2M fluid mechanics laboratory, and is co-financed with the CNRS IMPT program (Institut de Mathématique pour la Planète Terre). Funding already secured. The aim is to model all hydraulic processes, both surface and subsurface, on a catchment scale and...

  • PhD Position F/M Scheduling of task-based parallel applications on heterogeneous Cloud computing environments

    Trouvé dans: Talent FR C2 - il y a 2 semaines

    Talence, France INRIA Temps plein

    Contexte et atouts du poste Cloud computing systems give the general public easy access to computing, communication and storage resources. Its pay-per-use model leads to a reduction in the barriers to setting up a large-scale IT infrastructure [Buyya2019], thereby reducing risks and operational costs, which can be exceptionally important for small and...

  • PhD offer

    Trouvé dans: Talent FR C2 - il y a 7 jours

    Talence, France CNRS Temps plein

    Informations générales Intitulé de l'offre : PhD (H/F): Mise en forme topologique de cristaux liquides sous l'effet de champs électromagnétiques structurés dans le temps et dans l'espace. Référence : UMR5798-NINKRA-003 Nombre de Postes : 1 Lieu de travail : TALENCE Date de publication : lundi 22 avril 2024 Type de contrat : CDD...

  • 24-153 Selection Method for Stacking Sequences of

    il y a 7 jours

    Talence, France CNES - Centre National d'Etudes Spatiales Temps plein

    Doctorat, 36 mois - Temps plein - Aucune expérience exigée - Maitrise, IEP, IUP, Bac+4 - Mechanical and thermal engineering **Mission**: The work focuses on propellant tanks (liquid oxygen, liquid hydrogen, liquid methane) used for space launcher engines. These tanks can have various dimensions, withstand internal pressures of a few bars, and endure the...

  • Apprenti Réceptionniste en Hôtellerie

    il y a 6 jours

    Talence, France ACADEMIE DU TOURISME Temps plein

    Vous souhaitez saisir une nouvelle opportunité professionnelle ? Vous avez moins de 30 ans ? Vous voulez acquérir de nouvelles compétences ? Vous cherchez une formule emplois formation ? Notre établissement LE CHATEAU DE L'ANTIC, situé à MARTILLAC, recrute un apprenti Réceptionniste en hôtellerie H/F en alternance. **C’est la solution pour vous**:...

  • HÔte de Caisse

    il y a 6 jours

    Talence, France Intermarché Temps plein

    Description de l'entreprise Rejoindre le Groupement Les Mousquetaires, c’est intégrer un acteur majeur de la grande distribution avec 7 enseignes. C’est aussi évoluer au sein d’un groupe singulier, présent sur 3 marchés (alimentaire, bricolage, mobilité), qui réunit 150 000 collaborateurs et compte plus de 3 000 chefs d’entreprise...

  • Boucher (H/F)

    il y a 7 jours

    Talence, France Intermarché Temps plein

    Description de l'entreprise Rejoindre le Groupement Les Mousquetaires, c’est intégrer un acteur majeur de la grande distribution avec 7 enseignes. C’est aussi évoluer au sein d’un groupe singulier, présent sur 3 marchés (alimentaire, bricolage, mobilité), qui réunit 150 000 collaborateurs et compte plus de 3 000 chefs d’entreprise...

  • Comptable H/F

    Trouvé dans: Talent FR 2A C2 - il y a 4 jours

    Talence, France FINAIA Temps plein

    www.fedfinance.frVous ?tes Comptable Auxiliaire et avez pour ambition de prendre une mission longue dur?e ? Alors cette annonce je l'ai r?dig?e pour vous ! Je suis Anne, recruteur chez Fed depuis 7 ans et recrute pour un client un Comptable Tiers ( orient? clients et tr?sorerie). Le poste est ? pourvoir en mission longue dur?e dans le cadre d'un...

  • Comptable H/F

    Trouvé dans: Talent FR 2A C2 - il y a 5 jours

    Talence, France FED FINANCE Temps plein

    Poste : Vous ?tes Comptable Auxiliaire et avez pour ambition de prendre une mission longue dur?e ? Alors cette annonce je l'ai r?dig?e pour vous ! Je suis Anne, recruteur chez Fed depuis 7 ans et recrute pour un client un Comptable Tiers ( orient? clients et tr?sorerie). Le poste est ? pourvoir en mission longue dur?e dans le...

  • Comptable H/F

    Trouvé dans: Talent FR 2A C2 - il y a 2 jours

    Talence, France FED FINANCE Temps plein

    Poste : Vous ?tes Comptable Auxiliaire et avez pour ambition de prendre une mission longue dur?e ? Alors cette annonce je l'ai r?dig?e pour vous ! Je suis Anne, recruteur chez Fed depuis 7 ans et recrute pour un client un Comptable Tiers ( orient? clients et tr?sorerie). Le poste est ? pourvoir en mission longue dur?e dans le...

  • ETUDIANT EMPLOYE H/F DE 5H À 10H30 LE SAMEDI

    Trouvé dans: Talent FR C2 - il y a 2 semaines

    Talence, France Groupement Les Mousquetaires Temps plein

    Description de l'entreprise Intermarché, c’est l’enseigne historique du Groupement Les Mousquetaires. Son positionnement unique de Producteurs & Commerçants fait sa force. S’appuyant sur le du Groupement Les Mousquetaires, Intermarché propose des produits sains, accessibles et issus d’une production française et responsable. Agir pour...

  • Technicien électrotechnique

    Trouvé dans: beBee S FR - il y a 3 semaines

    Talence, France beBee S FR Temps plein

    Depuis plus de 30 ans, Epsyl se développe autour d'une culture de création et d'innovation et se met en quête d'offrir les meilleures solutions à des problématiques toujours plus complexes. En rejoignant le groupe ALCEN, fusion de 23 filiales positionnées dans le domaine des technologies de pointe : Défense, énergies, automobile, aéronautique,...

  • Technicien électrotechnique

    Trouvé dans: beBee S FR - il y a 2 semaines

    Talence, France beBee S FR Temps plein

    Depuis plus de 30 ans, Epsyl se développe autour d'une culture de création et d'innovation et se met en quête d'offrir les meilleures solutions à des problématiques toujours plus complexes. En rejoignant le groupe ALCEN, fusion de 23 filiales positionnées dans le domaine des technologies de pointe : Défense, énergies, automobile, aéronautique,...

  • Comptable H/F

    Trouvé dans: Talent FR 2A C2 - il y a 1 jour

    Talence, France FINAIA Temps plein

    Créé en 2001, le Groupe Fed est le premier groupe français indépendant de recrutement spécialisé.Le Groupe Fed rassemble 12 cabinets de recrutement spécialisés et deux autres marques dédiées au management de transition et à la délégation de recruteur. Chaque cabinet est indépendant et exclusivement consacré à sa famille de métiers ou son...

  • Chargé d'affaires juridiques

    Trouvé dans: Talent FR C2 - il y a 2 semaines

    Talence, France Université de Bordeaux Temps plein

    Employeur L’université de Bordeaux est une grande université dynamique, responsable, attentive au bien-être de ses personnels. La rejoindre, c’est travailler dans un cadre privilégié au sein d’une communauté professionnelle particulièrement diverse et ouverte, en bénéficiant de dispositifs d’accueil et d’inclusion, de formation et de...

  • HÔTE DE CAISSE EN CDI

    Trouvé dans: Talent FR C2 - il y a 1 semaine

    Talence, France Groupement Les Mousquetaires Temps plein

    Description de l'entreprise Rejoindre le Groupement Les Mousquetaires, c’est intégrer un acteur majeur de la grande distribution avec 7 enseignes. C’est aussi évoluer au sein d’un groupe singulier, présent sur 3 marchés (alimentaire, bricolage, mobilité), qui réunit 150 000 collaborateurs et compte plus de 3 000 chefs d’entreprise ! ...

  • AIDE COMPTABLE

    Trouvé dans: Talent FR C2 - il y a 1 semaine

    Talence, France Groupement Les Mousquetaires Temps plein

    Description de l'entreprise Rejoindre le Groupement Les Mousquetaires, c’est intégrer un acteur majeur de la grande distribution avec 7 enseignes. C’est aussi évoluer au sein d’un groupe singulier, présent sur 3 marchés (alimentaire, bricolage, mobilité), qui réunit 150 000 collaborateurs et compte plus de 3 000 chefs d’entreprise ! ...

  • Aide-soignant (H/F) Nuit

    il y a 2 semaines

    Talence, France Korian Temps plein

    En tant qu’aide-soignant(e) chez Korian, vous accompagnez les résidents tout au long de la journée dans leurs activités du quotidien. En cohésion avec le reste de l’équipe soignante, vous contribuez à dispenser les soins d’hygiène et de confort en vous adaptant à l’état de santé et aux envies de chaque résident. Le relationnel fait partie...

  • Responsable Commercial Industrie F/H

    Trouvé dans: Talent FR 2A C2 - il y a 7 jours

    Talence, France FED BUSINESS Temps plein

    Vous avez une app?tence pour les produits techniques ainsi qu'une connaissance du secteur industriel sur le Sud-Ouest?Vous souhaitez rejoindre une entreprise innovante, ? dimension internationale?Cette opportunit? est faite pour vous !Je suis Marie Massarotti, consultante chez Fed Business, cabinet de recrutement sp?cialis? sur les m?tiers commerciaux et je...