MERL: Multi-Head Reinforcement Learning - Archive ouverte HAL Access content directly
Conference Papers Year :

MERL: Multi-Head Reinforcement Learning

(1, 2, 3) , (1, 2, 3)
1
2
3

Abstract

A common challenge in reinforcement learning is how to convert the agent's interactions with an environment into fast and robust learning. For instance, earlier work makes use of domain knowledge to improve existing reinforcement learning algorithms in complex tasks. While promising, previously acquired knowledge is often costly and challenging to scale up. Instead, we decide to consider problem knowledge with signals from quantities relevant to solve any task, e.g., self-performance assessment and accurate expectations. $\mathcal{V}^{ex}$ is such a quantity. It is the fraction of variance explained by the value function $V$ and measures the discrepancy between $V$ and the returns. Taking advantage of $\mathcal{V}^{ex}$, we propose MERL, a general framework for structuring reinforcement learning by injecting problem knowledge into policy gradient updates. As a result, the agent is not only optimized for a reward but learns using problem-focused quantities provided by MERL, applicable out-of-the-box to any task. In this paper: (a) We introduce and define MERL, the multi-head reinforcement learning framework we use throughout this work. (b) We conduct experiments across a variety of standard benchmark environments, including 9 continuous control tasks, where results show improved performance. (c) We demonstrate that MERL also improves transfer learning on a set of challenging pixel-based tasks. (d) We ponder how MERL tackles the problem of reward sparsity and better conditions the feature space of reinforcement learning agents.
Fichier principal
Vignette du fichier
main.pdf (1.44 Mo) Télécharger le fichier
Vignette du fichier
images/ablation/HalfCheetah.pdf (48.34 Ko) Télécharger le fichier
Vignette du fichier
images/ablation/Swimmer.pdf (47.82 Ko) Télécharger le fichier
Vignette du fichier
images/ablation/Walker2d.pdf (57.77 Ko) Télécharger le fichier
Vignette du fichier
images/atari/1.png (352.7 Ko) Télécharger le fichier
Vignette du fichier
images/atari/2.png (449.25 Ko) Télécharger le fichier
Vignette du fichier
images/atari/3.png (649.92 Ko) Télécharger le fichier
Vignette du fichier
images/atari/4.png (464.28 Ko) Télécharger le fichier
Vignette du fichier
images/atari/5.png (1.18 Mo) Télécharger le fichier
Vignette du fichier
images/atari/6.png (401.85 Ko) Télécharger le fichier
Vignette du fichier
images/overview.pdf (89.83 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Ant-v2.pdf (30.89 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/HalfCheetah-v2.pdf (30.19 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Hopper-v2.pdf (33.12 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Humanoid-v2.pdf (33.34 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/InvertedDoublePendulum-v2.pdf (36.65 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/InvertedPendulum-v2.pdf (34.6 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Reacher-v2.pdf (30.27 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Swimmer-v2.pdf (29.59 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Walker2d-v2.pdf (33.59 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Asterix-Enduro.pdf (36.94 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Asterix-MsPacman.pdf (48.91 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/BeamRider-Enduro.pdf (38.74 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/BeamRider-MsPacman.pdf (52.07 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-Asterix.pdf (47.17 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-BeamRider.pdf (48.4 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-Enduro.pdf (43.69 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-MsPacman.pdf (51.58 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-VideoPinball.pdf (49.68 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Enduro-MsPacman.pdf (51.14 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-Asterix.pdf (47.21 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-BeamRider.pdf (48.47 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-CrazyClimber.pdf (47.82 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-Enduro.pdf (40.1 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-VideoPinball.pdf (50.08 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-Asterix.pdf (45.09 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-BeamRider.pdf (48.1 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-CrazyClimber.pdf (47.27 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-Enduro.pdf (40.72 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-MsPacman.pdf (51.31 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-02305105 , version 1 (03-10-2019)
hal-02305105 , version 2 (13-10-2019)
hal-02305105 , version 3 (29-11-2019)

Identifiers

Cite

Yannis Flet-Berliac, Philippe Preux. MERL: Multi-Head Reinforcement Learning. Deep Reinforcement Learning Workshop, NeurIPS, Dec 2019, Vancouver, Canada. ⟨hal-02305105v3⟩
250 View
834 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More