Fitted Q-iteration in continuous action-space MDPs

Andras Antos 1 Rémi Munos 2 Csaba Szepesvari 1
2 SEQUEL - Sequential Learning
LIFL - Laboratoire d'Informatique Fondamentale de Lille, Inria Lille - Nord Europe, LAGIS - Laboratoire d'Automatique, Génie Informatique et Signal
Abstract : We consider continuous state, continuous action batch reinforcement learning where the goal is to learn a good policy from a sufficiently rich trajectory generated by some policy. We study a variant of fitted Q-iteration, where the greedy action selection is replaced by searching for a policy in a restricted set of candidate policies by maximizing the average action values. We provide a rigorous analysis of this algorithm, proving what we believe is the first finite-time bound for value-function based algorithms for continuous state and action problems.
Type de document :
Communication dans un congrès
Neural Information Processing Systems, 2007, Vancouver, Canada. 2007
Liste complète des métadonnées

Littérature citée [16 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/inria-00203359
Contributeur : Rémi Munos <>
Soumis le : mercredi 9 janvier 2008 - 17:08:45
Dernière modification le : jeudi 11 janvier 2018 - 06:22:13
Document(s) archivé(s) le : jeudi 27 septembre 2012 - 14:00:51

Fichier

rlca.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : inria-00203359, version 1

Collections

Citation

Andras Antos, Rémi Munos, Csaba Szepesvari. Fitted Q-iteration in continuous action-space MDPs. Neural Information Processing Systems, 2007, Vancouver, Canada. 2007. 〈inria-00203359〉

Partager

Métriques

Consultations de la notice

359

Téléchargements de fichiers

237