A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets

Nicolas Le Roux 1, 2, * Mark Schmidt 1, 2 Francis Bach 1, 2
* Auteur correspondant
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, Inria Paris-Rocquencourt, CNRS - Centre National de la Recherche Scientifique : UMR8548
2 LIENS - Laboratoire d'informatique de l'école normale supérieure
Abstract : We propose a new stochastic gradient method for optimizing the sum of a finite set of smooth functions, where the sum is strongly convex. While standard stochastic gradient methods converge at sublinear rates for this problem, the proposed method incorporates a memory of previous gradient values in order to achieve a linear convergence rate. In a machine learning context, numerical experiments indicate that the new algorithm can dramatically outperform standard algorithms, both in terms of optimizing the training error and reducing the test error quickly.
Keywords : stochastic optimization linear convergence average gradient
Type de document :
Communication dans un congrès
NIPS'12 - 26 th Annual Conference on Neural Information Processing Systems (2012), 2012, Lake Tahoe, United States. 2012
Liste complète des métadonnées

Littérature citée [33 références]  Voir  Masquer  Télécharger
https://hal.inria.fr/hal-00674995
Contributeur : Nicolas Le Roux <>
Soumis le : lundi 11 mars 2013 - 16:47:10
Dernière modification le : mardi 17 avril 2018 - 11:27:37
Document(s) archivé(s) le : dimanche 2 avril 2017 - 11:06:20

Fichiers

sag_arxiv.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00674995, version 4
  • ARXIV : 1202.6258

Collections

INRIA | INSMI | PSL | TDS-MACS

Citation

Nicolas Le Roux, Mark Schmidt, Francis Bach. A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets. NIPS'12 - 26 th Annual Conference on Neural Information Processing Systems (2012), 2012, Lake Tahoe, United States. 2012. 〈hal-00674995v4〉

Exporter

BibTeX TEI DC DCterms EndNote

Partager

Métriques

Consultations de la notice

439

Téléchargements de fichiers

1554

Contact


archive-ouverte@inria.fr