Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct

Freek Stulp; Olivier Sigaud

Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct

Freek Stulp ^{1, 2} Olivier Sigaud ³

1 Flowers - Flowing Epigenetic Robots and Systems

Inria Bordeaux - Sud-Ouest, U2IS - Unité d'Informatique et d'Ingénierie des Systèmes

2 RV - Robotique et Vision

3 ISIR - Institut des Systèmes Intelligents et de Robotique

Résumé : La résolution de problèmes à états et actions continus par l'optimisation de politiques paramétriques est un sujet d'intérêt récent en apprentissage par renforcement. L'algorithme PI^2 est un exemple de cette approche, qui bénéficie de fondements mathématiques solides tirés de la commande stochastique optimale et des outils de la théorie de l'estimation statistique. Dans cet article, nous considérons PI^2 en tant que membre de la famille plus vaste des méthodes qui partagent le concept de moyenne pondérée par les probabilités pour mettre à jour itérativement des paramètres afin d'optimiser une fonction de coût. Nous comparons PI^2 à d'autres membres de la même famille - la " méthode d'entropie croisée " et CMA-ES - au niveau conceptuel et en termes de performance. La comparaison débouche sur la dérivation d'un nouvel algorithme que nous appelons PI^2 -CMA pour " Path Integral Policy Improvement with Covariance Matrix Adaptation ". Le principal avantage de PI^2 -CMA est qu'il détermine l'amplitude du bruit d'exploration automatiquement.

Document type :

Conference papers

Domain :

Computer Science [cs] / Artificial Intelligence [cs.AI]

Complete list of metadatas

Cited literature [16 references] Display Hide Download

https://hal.inria.fr/hal-00736310
Contributor : Olivier Buffet <>
Submitted on : Friday, September 28, 2012 - 8:48:49 AM
Last modification on : Wednesday, July 3, 2019 - 10:48:05 AM
Long-term archiving on : Friday, December 16, 2016 - 6:05:01 PM

1.pdf

Files produced by the author(s)

Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct

File

Identifiers

Collections

Citation

Export

Metrics

344

318

Contact

Adaptation de la matrice de covariance pour l'apprentissage par renforcement direct

File

Identifiers

Collections

Citation

Export

Share

Metrics

344

318

Contact