Task-Driven Dictionary Learning
Résumé
Modeling data with linear combinations of a few elements from a learned dictionary has been the focus of much recent research in machine learning, neuroscience and signal processing. For signals such as natural images that admit such sparse representations, it is now well established that these models are well suited to restoration tasks. In this context, learning the dictionary amounts to solving a large-scale matrix factorization problem, which can be done efficiently with classical optimization tools. The same approach has also been used for learning features from data for other purposes, e.g., image classification, but tuning the dictionary in a supervised way for these tasks has proven to be more difficult. In this paper, we present a general formulation for supervised dictionary learning adapted to a wide variety of tasks, and present an efficient algorithm for solving the corresponding optimization problem. Experiments on handwritten digit classification, digital art identification, nonlinear inverse image problems, and compressed sensing demonstrate that our approach is effective in large-scale settings, and is well suited to supervised and semi-supervised classification, as well as regression tasks for data that admit sparse representations.
Le codage parcimonieux consiste à représenter des signaux comme combinaisons linéaires de quelques éléments d'un dictionnaire. Cette approche a fait l'objet d'un nombre important de travaux en apprentissage statistique, traitement du signal et neuro-sciences. Pour des signaux qui admettent des représentations parcimonieuses, il est maintenant admis que cette approche permet d'obtenir de très bons résultats en restauration. Dans ce contexte, apprendre le dictionnaire résulte en un problème non convexe de factorisation de matrice, qui peut être traité efficacement par des outils d'optimisation classique. Cette même approche a aussi été utilisée pour des tâches autres que la reconstruction, comme la classification d'image, mais apprendre le dictionnaire de façon supervisée est plus difficile. Nous présentons dans cet article une méthode d'apprentissage de dictionnaire supervisée, fondée sur un algorithme d'optimisation stochastique, pour des tâches de classification ou de regression. Les expériences menées en reconnaissance de chiffres, problèmes inverses non-linéaires dans les images, et codage compréssé, montrent que notre approache est efficace à large échelle, et permet de résoudre des tâches de classification et regression pour des données admettant des représentations parcimonieuses.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...