s'authentifier
version française rss feed

hal-00826055, version 1

Basis Expansion in Natural Actor Critic Methods

Sertan Girgin a1, Philippe Preux () b123

European Workshop on Reinforcement Learning 5323 (2008) 110-123

Résumé : In reinforcement learning, the aim of the agent is to find a policy that maximizes its expected return. Policy gradient methods try to accomplish this goal by directly approximating the policy using a parametric function approximator; the expected return of the current policy is estimated and its parameters are updated by steepest ascent in the direction of the gradient of the expected return with respect to the policy parameters. In general, the policy is defined in terms of a set of basis functions that capture important features of the problem. Since the quality of the resulting policies directly depend on the set of basis func- tions, and defining them gets harder as the complexity of the problem increases, it is important to be able to find them automatically. In this paper, we propose a new approach which uses cascade-correlation learn- ing architecture for automatically constructing a set of basis functions within the context of Natural Actor-Critic (NAC) algorithms. Such basis functions allow more complex policies be represented, and consequently improve the performance of the resulting policies. We also present the effectiveness of the method empirically.

  • a –  INRIA
  • b –  Université Charles de Gaulle - Lille III
  • 1 :  SEQUEL (INRIA Lille - Nord Europe)
  • INRIA – CNRS : UMR8146 – Université Lille I - Sciences et technologies – Université Lille III - Sciences humaines et sociales – Ecole Centrale de Lille
  • 2 :  GRAPPA (LIFL)
  • CNRS : UMR8022 – Université Lille III - Sciences humaines et sociales – Université Lille I - Sciences et technologies
  • 3 :  Laboratoire d'Informatique Fondamentale de Lille (LIFL)
  • CNRS : UMR8022 – Université Lille I - Sciences et technologies – Université Lille III - Sciences humaines et sociales – INRIA
  • Domaine : Informatique/Apprentissage
  • Mots-clés : reinforcement learning – natural gradient – policy gradient – feature discovery
 
  • hal-00826055, version 1
  • oai:hal.inria.fr:hal-00826055
  • Contributeur : 
  • Soumis le : Mardi 4 Juin 2013, 09:15:27
  • Dernière modification le : Mardi 4 Juin 2013, 16:04:09
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...