21828 articles – 15613 Notices  [english version]

hal-00125455, version 1

Model selection by resampling penalization

Sylvain Arlot () 1

  • 1 :  Laboratoire de Mathématiques d'Orsay (LM-Orsay)
  • http://www.math.u-psud.fr
    CNRS : UMR8628 – Université Paris XI - Paris Sud France
  • Versions disponibles :  v1 (19-01-2007) v2 (22-01-2007)

    • Références bibliographiques

    • Type de publication : Documents sans référence de publication (Preprint)
    • Domaine : Mathématiques/Statistiques
    • Titre : Model selection by resampling penalization
    • Résumé : We present a new family of model selection algorithms based on the resampling heuristics. It can be used in several frameworks, do not require any knowledge about the unknown law of the data, and may be seen as a generalization of local Rademacher complexities and $V$-fold cross-validation. In the case example of least-square regression on histograms, we prove oracle inequalities, and that these algorithms are naturally adaptive to both the smoothness of the regression function and the variability of the noise level. Then, interpretating $V$-fold cross-validation in terms of penalization, we enlighten the question of choosing $V$. Finally, a simulation study illustrates the strength of resampling penalization algorithms against some classical ones, in particular with heteroscedastic data.
    • Langue du texte
      intégral :       Anglais
    • Mots Clés : resampling – V-fold cross-validation – regression – model selection – oracle inequality – adaptivity – heteroscedastic data
    • Classification : AMS 62G08 ; 62G09
    • Commentaire : submitted to COLT

    Liste des fichiers attachés à ce document :

    TEX
    colt_court.tex(45 KB)
    colt_court.sty(5.4 KB)
    colt_court.bib(9.6 KB)
    BB_data_ligne.eps(9.3 KB)
    BB_fonc.eps(24 KB)
    MM_data_ligne.eps(9.3 KB)
    NF_data_ligne.eps(20.7 KB)
    NF_fonc.eps(30.8 KB)
    NI_data_ligne.eps(19.9 KB)
    colt_court.bbl(4.2 KB)
    PDF
    colt_court.pdf(268.4 KB)
    PS
    colt_court.ps(300.6 KB)
     
    • hal-00125455, version 1
    • http://hal.archives-ouvertes.fr/hal-00125455
    • oai:hal.archives-ouvertes.fr:hal-00125455
    • Contributeur : Sylvain Arlot <>
    • Soumis le : Vendredi 19 Janvier 2007, 15:45:28
    • Dernière modification le : Vendredi 19 Janvier 2007, 16:10:33