Near-Optimal BRL using Optimistic Local Transitions (Extended Version)

Mauricio Araya 1 Vincent Thomas 1 Olivier Buffet 1
1 MAIA - Autonomous intelligent machine
Inria Nancy - Grand Est, LORIA - AIS - Department of Complex Systems, Artificial Intelligence & Robotics
Résumé : L'apprentissage par renforcement bayésien basé modèle (BRL) permet une formalisation saine du problème consistant à agir optimalement face à un environnement inconnu, c'est-à-dire en évitant le dilemme exploration-exploitation. Toutefois, les algorithmes s'attaquant explicitement au BRL souffrent d'une telle explosion combinatoire qu'un grand nombre de travaux repose sur des algorithmes heuristiques. Cet article introduit bolt, un algorithme heuristique simple et (presque) déterministe pour le BRL qui est optimiste vis à vis de la fonction de transition. Nous analysons la complexité d'échantillon de bolt et montrons que, pour certains paramètres, l'algorithme est quasi-optimal au sens bayésien avec une grande probabilité. Puis, des résultats expérimentaux mettent en valeur les principales différences entre cette méthode et des travaux antérieurs.
Type de document :
Rapport
[Research Report] RR-7965, INRIA. 2012
Liste complète des métadonnées

Littérature citée [17 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-00702243
Contributeur : Mauricio Araya <>
Soumis le : mardi 29 mai 2012 - 16:35:07
Dernière modification le : jeudi 11 janvier 2018 - 06:25:23
Document(s) archivé(s) le : jeudi 15 décembre 2016 - 09:46:14

Fichiers

RR-7965.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00702243, version 1

Citation

Mauricio Araya, Vincent Thomas, Olivier Buffet. Near-Optimal BRL using Optimistic Local Transitions (Extended Version). [Research Report] RR-7965, INRIA. 2012. 〈hal-00702243〉

Partager

Métriques

Consultations de la notice

276

Téléchargements de fichiers

932