A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets

Nicolas Le Roux 1, 2, * Mark Schmidt 1, 2 Francis Bach 1, 2
* Auteur correspondant
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, Inria Paris-Rocquencourt, CNRS - Centre National de la Recherche Scientifique : UMR8548
Abstract : We propose a new stochastic gradient method for optimizing the sum of a finite set of smooth functions, where the sum is strongly convex. While standard stochastic gradient methods converge at sublinear rates for this problem, the proposed method incorporates a memory of previous gradient values in order to achieve a linear convergence rate. In a machine learning context, numerical experiments indicate that the new algorithm can dramatically outperform standard algorithms, both in terms of optimizing the training error and reducing the test error quickly.
Type de document :
Communication dans un congrès
NIPS'12 - 26 th Annual Conference on Neural Information Processing Systems (2012), 2012, Lake Tahoe, United States. 2012
Liste complète des métadonnées

Littérature citée [33 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-00674995
Contributeur : Nicolas Le Roux <>
Soumis le : lundi 11 mars 2013 - 16:47:10
Dernière modification le : jeudi 11 janvier 2018 - 06:23:26
Document(s) archivé(s) le : dimanche 2 avril 2017 - 11:06:20

Fichiers

sag_arxiv.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00674995, version 4
  • ARXIV : 1202.6258

Collections

Citation

Nicolas Le Roux, Mark Schmidt, Francis Bach. A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets. NIPS'12 - 26 th Annual Conference on Neural Information Processing Systems (2012), 2012, Lake Tahoe, United States. 2012. 〈hal-00674995v4〉

Partager

Métriques

Consultations de la notice

401

Téléchargements de fichiers

1443