Best-Arm Identification in Linear Bandits

Marta Soare 1, 2 Alessandro Lazaric 1, 2 Rémi Munos 1, 2
1 SEQUEL - Sequential Learning
LIFL - Laboratoire d'Informatique Fondamentale de Lille, LAGIS - Laboratoire d'Automatique, Génie Informatique et Signal, Inria Lille - Nord Europe
Abstract : We study the best-arm identification problem in linear bandit, where the rewards of the arms depend linearly on an unknown parameter $\theta^*$ and the objective is to return the arm with the largest reward. We characterize the complexity of the problem and introduce sample allocation strategies that pull arms to identify the best arm with a fixed confidence, while minimizing the sample budget. In particular, we show the importance of exploiting the global linear structure to improve the estimate of the reward of near-optimal arms. We analyze the proposed strategies and compare their empirical performance. Finally, we point out the connection to the $G$-optimality criterion used in optimal experimental design.
Type de document :
Communication dans un congrès
NIPS - Advances in Neural Information Processing Systems 27, Dec 2014, Montreal, Canada. 2014, 〈https://nips.cc/〉
Liste complète des métadonnées

Littérature citée [18 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01075701
Contributeur : Marta Soare <>
Soumis le : mardi 4 novembre 2014 - 15:32:32
Dernière modification le : jeudi 11 janvier 2018 - 06:22:13
Document(s) archivé(s) le : jeudi 5 février 2015 - 11:20:49

Fichier

best_linear_arm.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01075701, version 1

Citation

Marta Soare, Alessandro Lazaric, Rémi Munos. Best-Arm Identification in Linear Bandits. NIPS - Advances in Neural Information Processing Systems 27, Dec 2014, Montreal, Canada. 2014, 〈https://nips.cc/〉. 〈hal-01075701〉

Partager

Métriques

Consultations de la notice

428

Téléchargements de fichiers

172