Grandes déviations pour les processus d'apprentissage lent à statistiques discontinues sur une surface - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Thèse Année : 1995

Large deviations for slow learning processes with discontinuous statistics on a surface

Grandes déviations pour les processus d'apprentissage lent à statistiques discontinues sur une surface

Isabelle Nagot
  • Fonction : Auteur
  • PersonId : 845301

Résumé

We prove the large deviations principle for a Markov chain having two regions of smooth statistical behavior separated by a boundary across which the transition me­ chanics change discontinuously. The hypothesis on the two probability fields on either side of the surface are basically those which allow large deviations for a single field. Such dynamics are used in many stochastic algorithms, particularly for learning in neu­ ral nets. Two kinds of behavior are then possible for the process suitably normalized, depending on the configuration of the supports of the probabilities near the boundary. In the first one, the number of boundary crossings during a period is not bounded. A new rate function arises, which is a combination of the Cramer’s transform of each field and corresponds to a mixture of the two fields. In the second kind, the process crosses the boundary at most one time and each Cramer’s transform is integrated one after another to get the rate function. In the last chapter, we give equations for a minimal- cost path between two points. Their resolution enables accelerated simulations of rare events.
Nous établissons le principe de grandes déviations pour des chaînes de Markov dont les probabilités de transition sont différentes selon que le processus se trouve d'un côté ou de l'autre d'une surface. Sur chacun des deux champs de proba-bilités, on fait les hypothèses de continuité qui permettent d'obtenir habituellement le principe de grandes déviations. Cette continuité est perdue sur la frontière. De telles dynamiques interviennent dans de nombreux algorithmes stochastiques et par exemple pour l'apprentissage dans certains réseaux de neurones. Selon la configuration des supports des mesures au voisinage de la surface, deux types de comportement sont possibles pour le processus correctement renormalisé. Dans l'un, le nombre de traversées de la frontière est non borné. Une nouvelle fonction de coût apparaît, combinaison des transformées de Cramer de chaque champ; elle correspond au mélange des deux champs. La fonctionnelle d'action est calculée seulement sur les chemins pour lesquelles il existe un nombre fini d'intervalles où ils restent soit dans un des deux demi-espaces, soit sur la frontière. Dans l'autre type de comportement, le processus traverse localement au plus une fois la surface; la fonctionnelle d'action s'obtient en intégrant successivement chaque transformée de Cramer. Pour compléter cette étude, nous donnons les équations vérifiées par une trajectoire de coût minimal entre deux points. Leur solution permet de faire des simulations accélérées d'événements rares.
Fichier principal
Vignette du fichier
BJHTUP11_1995__0429__P0_0.pdf (11.82 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04193865 , version 1 (01-09-2023)

Identifiants

  • HAL Id : tel-04193865 , version 1

Citer

Isabelle Nagot. Grandes déviations pour les processus d'apprentissage lent à statistiques discontinues sur une surface. Mathématiques [math]. Université Paris-Sud, 1995. Français. ⟨NNT : ⟩. ⟨tel-04193865⟩
13 Consultations
6 Téléchargements

Partager

Gmail Facebook X LinkedIn More