Sélection bayésienne de variables en régression linéaire

Gilles Celeux 1 Jean-Michel Marin 1, 2 Christian Robert 2, 3
1 SELECT - Model selection in statistical learning
Inria Saclay - Ile de France, LMO - Laboratoire de Mathématiques d'Orsay, CNRS - Centre National de la Recherche Scientifique : UMR
Résumé : Nous nous intéressons à la sélection bayésienne de variables en régression linéaire. Nous en abordons tous les aspects afin de fournir au lecteur un guide précis. Nous étudions successivement les cas où les loi a priori sur les paramètres des modèles sont informatives et non informatives. Dans le cas informatif, nous proposons d'utiliser la loi a priori de Zellner pour le modèle contenant toutes les variables et une loi a priori de Zellner compatible avec la précédente pour chaque sous-modèle. Dans le cas non informatif, nous montrons d'abord que l'inférence bayésienne utilisant des loi a priori faiblement informatives construites à partir de la loi de Zellner est très sensible à la valeur prise par un hyperparamètre, ce qui nous amène à déconseiller son utilisation. Nous proposons alors une nouvelle loi a priori hiérarchique basée sur la loi de Zellner. Nous montrons que l'utilisation de cette loi a priori assure d'excellentes performances de sélection, d'un point de vue explicatif, par rapport aux critères fréquentiels classiques. Enfin, lorsque le nombre de variables est important, nous considérons les aspects algorithmiques et, en particulier, nous montrons que l'échantillonneur de Gibbs fonctionne parfaitement bien pour sélectionner les variables pertinentes, contrairement à ce qui est parfois affirmé.
Type de document :
Article dans une revue
Journal de la Société Française de Statistique, Société Française de Statistique et Société Mathématique de France, 2006, 147 (1), pp.59-79
Liste complète des métadonnées

https://hal.inria.fr/inria-00077857
Contributeur : Rapport de Recherche Inria <>
Soumis le : lundi 5 juin 2006 - 14:46:53
Dernière modification le : jeudi 11 janvier 2018 - 06:22:14
Document(s) archivé(s) le : lundi 20 septembre 2010 - 14:36:00

Fichiers

Identifiants

  • HAL Id : inria-00077857, version 2

Collections

Citation

Gilles Celeux, Jean-Michel Marin, Christian Robert. Sélection bayésienne de variables en régression linéaire. Journal de la Société Française de Statistique, Société Française de Statistique et Société Mathématique de France, 2006, 147 (1), pp.59-79. 〈inria-00077857v2〉

Partager

Métriques

Consultations de la notice

482

Téléchargements de fichiers

526