Illustrated review of convergence conditions of the value iteration algorithm and the rolling horizon procedure for average-cost MDPs

Eugenio Della Vecchia 1 Silvia C. Di Marco 1 Alain Jean-Marie 2, 3, *
* Auteur correspondant
2 MAORE - Méthodes Algorithmes pour l'Ordonnancement et les Réseaux
LIRMM - Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier
3 MAESTRO - Models for the performance analysis and the control of networks
CRISAM - Inria Sophia Antipolis - Méditerranée
Résumé : Nous nous intéressons aux relations entre l'algorithme d'itération de valeurs et la procédure de l'horizon roulant, pour résoudre les problèmes de contrôle optimal stochastique Markovien sous le critère du coût moyen, dans le cas d'espaces d'états et d'actions finis. Nous passons en revue des conditions issues de la littérature qui impliquent la convergence géométrique de l'itération de valeurs vers la valeur optimale. L'apériodicité du modèle est un pré-requis essentiel. Nous montrons que la convergence de l'itération de valeurs implique de façon générale celle de l'horizon roulant. Nous présentons également une procédure modifiée d'horizon roulant qui peut être appliquée sans avoir besoin d'analyser l'apériodicité, et nous étudions l'impact de cette transformation sur la convergence. Nous illustrons les différents résultats avec de nombreux exemples.
Type de document :
Rapport
[Research Report] RR-7710, LIRMM; INRIA. 2011
Liste complète des métadonnées

Littérature citée [15 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/inria-00617271
Contributeur : Alain Jean-Marie <>
Soumis le : vendredi 26 août 2011 - 17:13:42
Dernière modification le : jeudi 11 janvier 2018 - 16:58:45
Document(s) archivé(s) le : dimanche 27 novembre 2011 - 02:26:23

Fichier

RR-7710.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : inria-00617271, version 1

Citation

Eugenio Della Vecchia, Silvia C. Di Marco, Alain Jean-Marie. Illustrated review of convergence conditions of the value iteration algorithm and the rolling horizon procedure for average-cost MDPs. [Research Report] RR-7710, LIRMM; INRIA. 2011. 〈inria-00617271〉

Partager

Métriques

Consultations de la notice

473

Téléchargements de fichiers

260