Résolution exacte des Dec-POMDPs comme des MDPs continus

Jilles Steeve Dibangoye 1 Christopher Amato 2 Olivier Buffet 1 François Charpillet 1
1 MAIA - Autonomous intelligent machine
Inria Nancy - Grand Est, LORIA - AIS - Department of Complex Systems, Artificial Intelligence & Robotics
Résumé : Résoudre optimalement des processus décisionnels de Markov partiellement observables et décentralisés (Dec-POMDPs) est un problème combinatoire difficile. Les algorithmes actuels cherchent pour chaque agent à travers l'espace complet des politiques sur les historiques. A cause de la croissance doublement exponentielle de cet espace quand l'horizon de planification croît, ces méthodes deviennent rapidement insolubles. Toutefois, dans des problèmes réels, calculer des politiques sur l'espace des historiques complet est souvent inutile. L'extraction des informations pertinentes d'un historique permet de réduire le nombre d'historiques utiles. Nous montrons qu'en transformant un Dec-POMDP en un MDP continu, nous sommes capables de trouver et exploiter ces représentations à faible dimensionalité. En utilisant cette nouvelle transformation, nous pouvons appliquer des techniques efficaces pour la résolution de POMDPs et de MDPs continus. En combinant un algorithme de recherche générique et une réduction de la dimensionalité fondée sur la sélection de caractéristiques, nous introduisons une nouvelle approche pour résoudre de manière optimale des problèmes avec des horizons de planification significativement plus grands que les méthodes antérieures.
Type de document :
Communication dans un congrès
8èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes, Jul 2013, Lille, France. 2013, Actes des 8èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes
Liste complète des métadonnées

Littérature citée [21 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-00907279
Contributeur : Olivier Buffet <>
Soumis le : jeudi 21 novembre 2013 - 09:30:51
Dernière modification le : jeudi 11 janvier 2018 - 06:25:23
Document(s) archivé(s) le : samedi 22 février 2014 - 04:31:44

Fichier

jfpda13-c.pdf
Fichiers éditeurs autorisés sur une archive ouverte

Identifiants

  • HAL Id : hal-00907279, version 1

Collections

Citation

Jilles Steeve Dibangoye, Christopher Amato, Olivier Buffet, François Charpillet. Résolution exacte des Dec-POMDPs comme des MDPs continus. 8èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes, Jul 2013, Lille, France. 2013, Actes des 8èmes Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes. 〈hal-00907279〉

Partager

Métriques

Consultations de la notice

256

Téléchargements de fichiers

113