Abstraction Pathologies In Markov Decision Processes - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2013

Abstraction Pathologies In Markov Decision Processes

Manel Tagorti
  • Fonction : Auteur
  • PersonId : 948730
Bruno Scherrer
Olivier Buffet

Résumé

Abstraction is a common method to compute lower bounds in classical planning, imposing an equivalence relation on the state space and deriving the lower bound from the quotient system. It is a trivial and well-known fact that refined abstractions can only improve the lower bound. Thus, when we embarked on applying the same technique in the probabilistic setting, our firm belief was to find the same behavior there. We were wrong. Indeed, there are cases where every direct refinement step (splitting one equivalence class into two) yields strictly worse bounds. We give a comprehensive account of the issues involved, for two wide-spread methods to define and use abstract MDPs.
Fichier principal
Vignette du fichier
jfpda13-a.pdf (129.57 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-00907295 , version 1 (21-11-2013)

Identifiants

  • HAL Id : hal-00907295 , version 1

Citer

Manel Tagorti, Bruno Scherrer, Olivier Buffet, Joerg Hoffmann. Abstraction Pathologies In Markov Decision Processes. 8èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes, Jul 2013, Lille, France. ⟨hal-00907295⟩
159 Consultations
110 Téléchargements

Partager

Gmail Facebook X LinkedIn More