Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization

Mark Schmidt 1, 2, * Nicolas Le Roux 1, 2 Francis Bach 1, 2
* Auteur correspondant
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, Inria Paris-Rocquencourt, CNRS - Centre National de la Recherche Scientifique : UMR8548
2 LIENS - Laboratoire d'informatique de l'école normale supérieure
Abstract : We consider the problem of optimizing the sum of a smooth convex function and a non-smooth convex function using proximal-gradient methods, where an error is present in the calculation of the gradient of the smooth term or in the proximity operator with respect to the non-smooth term. We show that both the basic proximal-gradient method and the accelerated proximal-gradient method achieve the same convergence rate as in the error-free case, provided that the errors decrease at appropriate rates.Using these rates, we perform as well as or better than a carefully chosen fixed error level on a set of structured sparsity problems.
Keywords : optimization proximal method convexity strong convexity accelerated method convergence rate
Type de document :
Communication dans un congrès
NIPS'11 - 25 th Annual Conference on Neural Information Processing Systems, Dec 2011, Grenada, Spain. 2011
Liste complète des métadonnées

Littérature citée [39 références]  Voir  Masquer  Télécharger
https://hal.inria.fr/inria-00618152
Contributeur : Nicolas Le Roux <>
Soumis le : jeudi 1 décembre 2011 - 16:03:15
Dernière modification le : vendredi 25 mai 2018 - 12:02:06
Document(s) archivé(s) le : lundi 5 décembre 2016 - 00:57:43

Fichiers

111201_arxiv_inexact_prox.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : inria-00618152, version 3
  • ARXIV : 1109.2415

Collections

ENS-PARIS | INRIA | INSMI | PSL | TDS-MACS

Citation

Mark Schmidt, Nicolas Le Roux, Francis Bach. Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization. NIPS'11 - 25 th Annual Conference on Neural Information Processing Systems, Dec 2011, Grenada, Spain. 2011. 〈inria-00618152v3〉

Exporter

BibTeX TEI DC DCterms EndNote

Partager

Métriques

Consultations de la notice

919

Téléchargements de fichiers

1725

Contact


archive-ouverte@inria.fr