Une approche modifiée de Lambda-Policy Iteration

Christophe Thiery 1 Bruno Scherrer 1
1 MAIA - Autonomous intelligent machine
INRIA Lorraine, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : Dans le cadre du contrôle optimal stochastique, nous proposons une manière modifiée de mettre en oeuvre l'algorithme λ-Policy Iteration (Bertsekas & Tsitsiklis, 1996), une méthode qui généralise Value Iteration et Policy Iteration en introduisant un paramètre λ. Nous montrons que cette version modifiée, qui est analogue à Modified Policy Iteration, généralise tous ces algorithmes et converge vers la fonction de valeur optimale. En nous appuyant sur des arguments analytiques et expérimentaux, nous mettons en évidence le fait que lorsque l'algorithme est appliqué de manière exacte, le paramètre λ ne permet pas d'améliorer la vitesse de convergence de manière significative.
Document type :
Conference papers
Complete list of metadatas

https://hal.inria.fr/inria-00418910
Contributor : Christophe Thiery <>
Submitted on : Tuesday, September 22, 2009 - 11:20:46 AM
Last modification on : Thursday, January 11, 2018 - 6:19:50 AM
Long-term archiving on : Thursday, June 30, 2011 - 11:48:52 AM

File

thiery-christophe.pdf
Explicit agreement for this submission

Identifiers

  • HAL Id : inria-00418910, version 1

Collections

Citation

Christophe Thiery, Bruno Scherrer. Une approche modifiée de Lambda-Policy Iteration. Journées Francophones Planification Décision Apprentissage, UPMC-Paris 6, Jun 2009, Paris, France. ⟨inria-00418910⟩

Share

Metrics

Record views

419

Files downloads

306