Stability revisited: new generalisation bounds for the Leave-one-Out

Alain Celisse 1, 2 Benjamin Guedj 2, 1
2 MODAL - MOdel for Data Analysis and Learning
LPP - Laboratoire Paul Painlevé - UMR 8524, Université de Lille, Sciences et Technologies, Inria Lille - Nord Europe, CERIM - Santé publique : épidémiologie et qualité des soins-EA 2694, Polytech Lille - École polytechnique universitaire de Lille
Abstract : The present paper provides a new generic strategy leading to non-asymptotic theoretical guarantees on the Leave-one-Out procedure applied to a broad class of learning algorithms. This strategy relies on two main ingredients: the new notion of $L^q$ stability, and the strong use of moment inequalities. $L^q$ stability extends the ongoing notion of hypothesis stability while remaining weaker than the uniform stability. It leads to new PAC exponential generalisation bounds for Leave-one-Out under mild assumptions. In the literature, such bounds are available only for uniform stable algorithms under boundedness for instance. Our generic strategy is applied to the Ridge regression algorithm as a first step.
Type de document :
Pré-publication, Document de travail
2016
Liste complète des métadonnées

Littérature citée [22 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01355365
Contributeur : Benjamin Guedj <>
Soumis le : mardi 23 août 2016 - 10:02:40
Dernière modification le : mercredi 14 novembre 2018 - 14:40:11
Document(s) archivé(s) le : jeudi 24 novembre 2016 - 12:40:17

Fichier

main.pdf
Fichiers produits par l'(les) auteur(s)

Licence


Distributed under a Creative Commons Paternité - Pas d'utilisation commerciale - Pas de modification 4.0 International License

Identifiants

  • HAL Id : hal-01355365, version 1

Collections

Citation

Alain Celisse, Benjamin Guedj. Stability revisited: new generalisation bounds for the Leave-one-Out. 2016. 〈hal-01355365〉

Partager

Métriques

Consultations de la notice

431

Téléchargements de fichiers

50