Should penalized least squares regression be interpreted as Maximum A Posteriori estimation?

Rémi Gribonval 1
1 METISS - Speech and sound data modeling and processing
IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires, Inria Rennes – Bretagne Atlantique
Résumé : La régression aux moindres carrés pénalisée est souvent utilisée dans le cadre du débruitage de signaux et des problèmes inverses, où elle est communément interprétée comme un estimateur au Maximum A Posteriori (MAP), la fonction de pénalité étant alors liée au logarithme de la probabilité {\em a priori}. Par exemple, le programme quadratique (avec pénalité $\ell^1$) associé au {\em Basis Pursuit Denoising} / LASSO, qui est très largement utilisé en traitement du signal et de l'image, est souvent considéré comme un estimateur MAP avec a priori Laplacien dans le contexte d'un bruit additif blanc et Gaussien. Cet article met en lumière le fait que cette interprétation Bayesienne, bien que possible, n'est pas unique ni nécessairement fondée. Ainsi, la résolution d'un problème de régression aux moindres carrés avec un pénalité $\phi(x)$ n'a pas vocation à être systématiquement interprétée comme un estimateur MAP avec probabilité a priori $C \cdot \exp(-\phi(x))$. En particulier, on montre que pour {\em toute} loi a priori $P_X$, l'estimateur d' erreur quadratique moyenne minimale (EQMM) est la solution d'un problème de régression aux moindres carrés pénalisé avec une fonction de pénalité bien choisie $\phi(x)$, et peut dont être également interprété comme l'estimateur MAP avec a priori $C \cdot \exp(-\phi(x))$. Vice-versa, pour {\em certaines} pénalités $\phi(x)$, la solution du problème aux moindres carrés pénalisé est de fait également l'estimateur EQMM, avec une loi a priori $P_X$ bien choisie. En général, $dP_X(x) \neq C \cdot \exp(-\phi(x))dx$.
Type de document :
Article dans une revue
IEEE Transactions on Signal Processing, Institute of Electrical and Electronics Engineers, 2011, 59 (5), pp.2405-2410. 〈10.1109/TSP.2011.2107908〉
Liste complète des métadonnées

Littérature citée [11 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/inria-00486840
Contributeur : Rémi Gribonval <>
Soumis le : vendredi 11 mars 2011 - 17:52:30
Dernière modification le : jeudi 11 janvier 2018 - 06:20:09
Document(s) archivé(s) le : dimanche 12 juin 2011 - 02:51:48

Identifiants

Collections

Citation

Rémi Gribonval. Should penalized least squares regression be interpreted as Maximum A Posteriori estimation?. IEEE Transactions on Signal Processing, Institute of Electrical and Electronics Engineers, 2011, 59 (5), pp.2405-2410. 〈10.1109/TSP.2011.2107908〉. 〈inria-00486840v4〉

Partager

Métriques

Consultations de la notice

909

Téléchargements de fichiers

501