Apprentissage par renforcement rapide pour des grands ensembles d'actions en utilisant des codes correcteurs d'erreur

Gabriel Dulac-Arnold 1 Ludovic Denoyer 1 Philippe Preux 2 Patrick Gallinari 1
1 MALIRE - Machine Learning and Information Retrieval
LIP6 - Laboratoire d'Informatique de Paris 6
2 SEQUEL - Sequential Learning
LIFL - Laboratoire d'Informatique Fondamentale de Lille, Inria Lille - Nord Europe, LAGIS - Laboratoire d'Automatique, Génie Informatique et Signal
Résumé : L'utilisation de l'apprentissage par renforcement (AR) pour la résolution de problèmes réalistes se heurte à des questions de passage à l'échelle. La plupart des algorithmes d'AR sont incapables de gérer des problèmes avec des centaines, voire des milliers d'actions, ce qui en limite l'application dans la pratique. Nous considérons le problème d'AR dans le cadre de l'apprentissage supervisé où la politique optimale est obtenue sous la forme d'un classeur multi-classes, l'ensemble des classes correspondant à l'ensemble des actions du problème. Nous introduisons l'utilisation de codes correcteurs d'erreurs (CCE) dans ce contexte et proposons deux nouvelles méthodes pour réduire la complexité de l'apprentissage en utilisant des approches à base de rollouts. La première de ces méthodes consiste à introduire un classeur basé sur des CCE comme classeur multi-classes, ce qui réduit la complexité de l'apprentissage de O(A^2 ) a O(A log(A)). Ensuite, nous proposons une seconde méthode qui met à profit le dictionnaire de codage du CCE pour découper le PDM initial en O(log(A)) PDM à 2 actions. Cette seconde méthode réduit la complexité de l'apprentissage de O(A^2) a O(log(A)) ce qui permet de traiter en des temps très raisonnables des problèmes avec un grand nombre d'actions. Nous terminons avec une démonstration expérimentale de l'intérêt de notre approche.
Type de document :
Communication dans un congrès
Olivier Buffet. Journées Francophones sur la planification, la décision et l'apprentissage pour le contrôle des systèmes - JFPDA 2012, May 2012, Villers-lès-Nancy, France. 12 p, 2012
Liste complète des métadonnées

Littérature citée [13 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-00736322
Contributeur : Olivier Buffet <>
Soumis le : vendredi 28 septembre 2012 - 09:03:13
Dernière modification le : mercredi 21 mars 2018 - 18:58:10
Document(s) archivé(s) le : vendredi 16 décembre 2016 - 18:07:13

Fichier

2.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00736322, version 1

Collections

Citation

Gabriel Dulac-Arnold, Ludovic Denoyer, Philippe Preux, Patrick Gallinari. Apprentissage par renforcement rapide pour des grands ensembles d'actions en utilisant des codes correcteurs d'erreur. Olivier Buffet. Journées Francophones sur la planification, la décision et l'apprentissage pour le contrôle des systèmes - JFPDA 2012, May 2012, Villers-lès-Nancy, France. 12 p, 2012. 〈hal-00736322〉

Partager

Métriques

Consultations de la notice

427

Téléchargements de fichiers

153