Asymptotic description of neural networks with correlated synaptic weights - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Article Dans Une Revue Entropy Année : 2015

Asymptotic description of neural networks with correlated synaptic weights

Résumé

We study the asymptotic law of a network of interacting neurons when the number of neurons becomes infinite. Given a completely connected network of neurons in which the synaptic weights are Gaussian {\emph correlated} random variables, we describe the asymptotic law of the network when the number of neurons goes to infinity. All previous works assumed that the weights were i.i.d. random variables, thereby making the analysis much simpler. This hypothesis is not realistic from the biological viewpoint. In order to cope with this extra complexity we introduce the process-level empirical measure of the trajectories of the solutions to the equations of the finite network of neurons and the averaged law (with respect to the synaptic weights) of the trajectories of the solutions to the equations of the network of neurons. The main result of this article is that the image law through the empirical measure satisfies a large deviation principle with a good rate function which is shown to have a unique global minimum. Finally, our analysis of the rate function allows us also to describe this minimum as a stationary Gaussian measure which completely characterizes the activity of the infinite size network.
Nous étudions la loi asymptotique décrivant un réseau de neurones interconnectés lorsque le nombre de neurones tend vers l'infini. Étant donné un réseau complétement connecté de neurones dans lequel les poids synaptiques sont des variables aléatoires gaussiennes {\emph corrélées}, nous caractérisons la loi asymptotique de ce réseau lorsque le nombre de neurones tend vers l'infini. Tous les travaux précédents faisaient l'hypothése de poids indépendants. Cette hypothése n'est pas réaliste d'un point de vue biologique mais elle simplifie considérablement l'analyse mathématique du probléme. Pour faire face á cette difficulté supplémentaire nous introduisons la mesure empirique sur l'espace des trajectoires solutions des équations du réseau de neurones de taille finie et la loi moyennée (par rapport aux poids synaptiques) des trajectoires de ces solutions. Notre résultat principal est que la loi image de cette loi par la mesure empirique satisfait un principe de grandes déviations dont nous montrons que la bonne fonction de taux admet un minimum global unique. Notre analyse de la fonction de taux nous permet enfin de décrire ce minimum comme une mesure gaussienne stationnaire nous permettant ainsi de caractériser complétement l'activité du réseau de taille infinie.
Fichier principal
Vignette du fichier
RR-8495.pdf (733.94 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-00955770 , version 1 (06-03-2014)

Identifiants

  • HAL Id : hal-00955770 , version 1

Citer

Olivier Faugeras, James Maclaurin. Asymptotic description of neural networks with correlated synaptic weights. Entropy, 2015, Special Issue Entropic Aspects in Statistical Physics of Complex Systems, 17(7), 4701-4743 (7), pp.4701-4743. ⟨hal-00955770⟩
257 Consultations
194 Téléchargements

Partager

Gmail Facebook X LinkedIn More