Thermodynamics of Restricted Boltzmann Machines and Related Learning Dynamics

Aurélien Decelle 1 Giancarlo Fissore 1 Cyril Furtlehner 2
2 TAU - TAckling the Underspecified
LRI - Laboratoire de Recherche en Informatique, UP11 - Université Paris-Sud - Paris 11, Inria Saclay - Ile de France, CNRS - Centre National de la Recherche Scientifique : UMR8623
Résumé : Nous analysons le processus d’apprentissage d’une machine de Boltzmann restreinte (RBM), soit un certain type de modèle génératif utilisé dans un contexte d’apprentissage non-supervisé. Dans un premier temps nous étudions ses propriétés thermodynamiques, en considérant un ensemble statistique de RBM réaliste. Nous adoptons le point de vue que le contenu informationnel d’une RBM est reflété pas les propriétés spectrales de sa matrice de poids $W$ , c.a.d de sa matrice de couplages. Schématiquement, la base du spectre est occupée par une distribution de type Marchenko-Pastur (MP) des valeurs singulières, représentant le bruit, alors que l’information réelle se trouve dans des modes extérieurs à cette distribution. Nous obtenons un diagramme de phases à première vue similaire à celui du modèle de Sherrington-Kirkpatrick avec couplages ferromagnétiques. La différence principale réside dans la structure de la phase ferromagnétique qui, selon la distribution des composantes des vecteurs singuliers, peut s’avérer être ou n’être pas de type compositionnel, c.a.d de composer les différents modes dominants pour exprimer les magnétisations. Dans un deuxième temps nous étudions la dynamique d’apprentissage d’une RBM sur des données arbitraires. Nous montrons qu’une trajectoire typique d’apprentissage résoud une équation effective dans laquelle les paramètres d’ordre de la limite thermodynamique entrent explicitement, par application de l’ensemble statistique mentionné précédemment. Cela rend compte en particulier de l’évolution des valeurs singulières dominantes et de comment tout ceci est piloté par les données d’entrée: dans le régime linéaire au début de l’apprentissage, les modes qui émergent correspondent aux déformations instables de $W$ et reflètent les composantes principales des données. Dans le régime non-linéaire est dévoilé en quelque sorte la façon dont ces modes instables interagissent dans les étapes ultérieures de l’apprentissage. Des expériences à la fois sur des données réelles et synthétiques viennent illustrer ces considérations, en montrant en particulier comment la RBM opère dans la phase ferromagnétique compositionnelle.
Liste complète des métadonnées

https://hal.inria.fr/hal-01675310
Contributeur : Cyril Furtlehner <>
Soumis le : vendredi 9 mars 2018 - 09:26:52
Dernière modification le : jeudi 7 février 2019 - 14:43:52
Document(s) archivé(s) le : dimanche 10 juin 2018 - 13:06:41

Fichier

RR-9139.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

Citation

Aurélien Decelle, Giancarlo Fissore, Cyril Furtlehner. Thermodynamics of Restricted Boltzmann Machines and Related Learning Dynamics. Journal of Statistical Physics, Springer Verlag, 2018, 172 (6), pp.1576-1608. 〈10.1007/s10955-018-2105-y〉. 〈hal-01675310v2〉

Partager

Métriques

Consultations de la notice

325

Téléchargements de fichiers

381