Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Article Dans Une Revue Comptes rendus de l'Académie des sciences. Série I, Mathématique Année : 2014

Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle

Résumé

We study the asymptotic law of a network of interacting neurons when the number of neurons becomes infinite. The dynamics of the neurons is described by a set of stochastic differential equations in discrete time. The neurons interact through the synaptic weights that are Gaussian correlated random variables. We describe the asymptotic law of the network when the number of neurons goes to infinity. Unlike previous works which made the biologically unrealistic assumption that the weights were i.i.d. random variables, we assume that they are correlated. We introduce the process-level empirical measure of the trajectories of the solutions into the equations of the finite network of neurons and the averaged law (with respect to the synaptic weights) of the trajectories of the solutions into the equations of the network of neurons. The result (Theorem 3.1 below) is that the image law through the empirical measure satisfies a large deviation principle with a good rate function. We provide an analytical expression of this rate function in terms of the spectral representation of certain Gaussian processes.
Nous considérons un réseau de neurones décrit par un système d’équations différentielles stochastiques en temps discret. Les neurones interagissent au travers de poids synaptiques qui sont des variables aléatoires gaussiennes corrélées. Nous caractérisons la loi asymptotique de ce réseau lorsque le nombre de neurones tend vers l’infini. Tous les travaux précédents faisaient l’hypothèse, irréaliste du point de vue de la biologie, de poids indépendants. Nous introduisons la mesure empirique sur l’espace des trajectoires solutions des équations du réseau de neurones de taille finie et la loi moyennée (par rapport aux poids synaptiques) des trajectoires de ces solutions. Le résultat (théorème 3.1 ci-dessous) est que l’image de cette loi par la mesure empirique satisfait un principe de grandes déviations avec une bonne fonction de taux, dont nous donnons une expression analytique en fonction de la représentation spectrale de certains processus gaussiens.
Fichier principal
Vignette du fichier
paper1.pdf (262.02 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-01074827 , version 1 (15-10-2014)

Identifiants

Citer

Olivier Faugeras, James Maclaurin. Asymptotic description of stochastic neural networks. I. Existence of a large deviation principle. Comptes rendus de l'Académie des sciences. Série I, Mathématique, 2014, 352, pp.841 - 846. ⟨10.1016/j.crma.2014.08.018⟩. ⟨hal-01074827⟩
283 Consultations
79 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More