High-Dimensional Control Using Generalized Auxiliary Tasks - Archive ouverte HAL Access content directly
Preprints, Working Papers, ... Year :

High-Dimensional Control Using Generalized Auxiliary Tasks

(1, 2, 3) , (1, 2, 3)
1
2
3

Abstract

A long-standing challenge in reinforcement learning is the design of function approximations and efficient learning algorithms that provide agents with fast training, robust learning, and high performance in complex environments. To this end, the use of prior knowledge, while promising, is often costly and, in essence, challenging to scale up. In contrast, we consider problem knowledge signals, that are any relevant indicator useful to solve a task, e.g., metrics of uncertainty or proactive prediction of future states. Our framework consists of predicting such complementary quantities associated with self-performance assessment and accurate expectations. Therefore, policy and value functions are no longer only optimized for a reward but are learned using environment-agnostic quantities. We propose a generally applicable framework for structuring reinforcement learning by injecting problem knowledge in policy gradient updates. In this paper: (a) We introduce MERL, our multi-head reinforcement learning framework for generalized auxiliary tasks. (b) We conduct experiments across a variety of standard benchmark environments. Our results show that MERL improves performance for on- and off-policy methods. (c) We show that MERL also improves transfer learning on a set of challenging tasks. (d) We investigate how our approach addresses the problem of reward sparsity and pushes the function approximations into a better-constrained parameter configuration.
Fichier principal
Vignette du fichier
main.pdf (4.97 Mo) Télécharger le fichier
Vignette du fichier
images/ablation/HalfCheetah.pdf (48.34 Ko) Télécharger le fichier
Vignette du fichier
images/ablation/Swimmer.pdf (47.82 Ko) Télécharger le fichier
Vignette du fichier
images/ablation/Walker2d.pdf (57.77 Ko) Télécharger le fichier
Vignette du fichier
images/atari/1.png (352.7 Ko) Télécharger le fichier
Vignette du fichier
images/atari/2.png (449.25 Ko) Télécharger le fichier
Vignette du fichier
images/atari/3.png (649.92 Ko) Télécharger le fichier
Vignette du fichier
images/atari/4.png (464.28 Ko) Télécharger le fichier
Vignette du fichier
images/atari/5.png (1.18 Mo) Télécharger le fichier
Vignette du fichier
images/atari/6.png (401.85 Ko) Télécharger le fichier
Vignette du fichier
images/ddpg/HalfCheetah-v2.pdf (32.93 Ko) Télécharger le fichier
Vignette du fichier
images/ddpg/Hopper-v2.pdf (35.9 Ko) Télécharger le fichier
Vignette du fichier
images/ddpg/Swimmer-v2.pdf (33.66 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Ant-v2.pdf (30.89 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/HalfCheetah-v2.pdf (30.19 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Hopper-v2.pdf (33.12 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Humanoid-v2.pdf (33.34 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/InvertedDoublePendulum-v2.pdf (36.65 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/InvertedPendulum-v2.pdf (34.6 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Reacher-v2.pdf (30.27 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Swimmer-v2.pdf (29.59 Ko) Télécharger le fichier
Vignette du fichier
images/ppo/Walker2d-v2.pdf (33.59 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Asterix-Enduro.pdf (36.94 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Asterix-MsPacman.pdf (48.91 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/BeamRider-Enduro.pdf (38.74 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/BeamRider-MsPacman.pdf (52.07 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-Asterix.pdf (47.17 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-BeamRider.pdf (48.4 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-Enduro.pdf (43.69 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-MsPacman.pdf (51.58 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/CrazyClimber-VideoPinball.pdf (49.68 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/Enduro-MsPacman.pdf (51.14 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-Asterix.pdf (47.21 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-BeamRider.pdf (48.47 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-CrazyClimber.pdf (47.82 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-Enduro.pdf (40.1 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/MsPacman-VideoPinball.pdf (50.08 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-Asterix.pdf (45.09 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-BeamRider.pdf (48.1 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-CrazyClimber.pdf (47.27 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-Enduro.pdf (40.72 Ko) Télécharger le fichier
Vignette du fichier
images/transfer/VideoPinball-MsPacman.pdf (51.31 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-02295705 , version 1 (24-09-2019)
hal-02295705 , version 2 (13-10-2019)
hal-02295705 , version 3 (29-11-2019)

Identifiers

  • HAL Id : hal-02295705 , version 3

Cite

Yannis Flet-Berliac, Philippe Preux. High-Dimensional Control Using Generalized Auxiliary Tasks. 2019. ⟨hal-02295705v3⟩
139 View
104 Download

Share

Gmail Facebook Twitter LinkedIn More