Skip to Main content Skip to Navigation
Reports

Optimal Memory-aware Backpropagation of Deep Join Networks

Olivier Beaumont 1 Julien Herrmann 2, 1 Guillaume Pallez 2 Alena Shilova 1
1 HiePACS - High-End Parallel Algorithms for Challenging Numerical Simulations
LaBRI - Laboratoire Bordelais de Recherche en Informatique, Inria Bordeaux - Sud-Ouest
2 TADAAM - Topology-Aware System-Scale Data Management for High-Performance Computing
LaBRI - Laboratoire Bordelais de Recherche en Informatique, Inria Bordeaux - Sud-Ouest
Résumé : L’espace mémoire nécessaire pour l’apprentissage de réseaux profonds peut empêcher l’utilisateur de considérer de grands modèles. Dans ce travail nous discutons l’utilisation des techniques d’ordonnancement sous contraintes mémoire utilisées en différentiation automatique (AD) pour exécuter des graphes de rétropropagation sous contraintes mémoires. Le cas d’une chaine simple et homogène est maitrisé et la littérature en différentiation automatique offre de nombreuses techniques et solutions optimales sous diverses contraintes. Dans le cadre de l’apprentissage profond, les réseaux rencontrés sont souvent plus structurés et diverses (forme, hétérogénéité). Dans ce travail nous définissons la classe des graphes de rétropropagation et nous étendons l’ensemble des grahes sur lesquels on peut calculer en temps polynomial une solution optimale (en terme de temps d’exécution) sous contraintes mémoire. En particulier, nous considérons le cas des join qui correspondent à des modèles tels que les r éseaux siamois ou cross-modaux.
Complete list of metadatas

Cited literature [50 references]  Display  Hide  Download

https://hal.inria.fr/hal-02131552
Contributor : Guillaume Pallez (aupy) <>
Submitted on : Thursday, May 16, 2019 - 1:58:50 PM
Last modification on : Thursday, January 9, 2020 - 9:56:10 AM

File

research_report.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : hal-02131552, version 1

Collections

Citation

Olivier Beaumont, Julien Herrmann, Guillaume Pallez, Alena Shilova. Optimal Memory-aware Backpropagation of Deep Join Networks. [Research Report] RR-9273, Inria. 2019. ⟨hal-02131552⟩

Share

Metrics

Record views

154

Files downloads

642