A portfolio approach to massively parallel Bayesian optimization
Résumé
One way to reduce the time of conducting optimization studies is to evaluate designs in parallel rather than just one-at-a-time. For expensive-to-evaluate black-boxes, batch versions of Bayesian optimization have been proposed. They work by building a surrogate model of the black-box that can be used to select the designs to evaluate efficiently via an infill criterion. Still, with higher levels of parallelization becoming available, the strategies that work for a few tens of parallel evaluations become limiting, in particular due to the complexity of selecting more evaluations. It is even more crucial when the black-box is noisy, necessitating more evaluations as well as repeating experiments. Here we propose a scalable strategy that can keep up with massive batching natively, focused on the exploration/exploitation trade-off and a portfolio allocation. We compare the approach with related methods on deterministic and noisy functions, for mono and multi-objective optimization tasks. These experiments show similar or better performance than existing methods, while being orders of magnitude faster.
Fichier principal
MOSO_hal_arxiv2.pdf (1.87 Mo)
Télécharger le fichier
figures/Cov_res.pdf (13.54 Ko)
Télécharger le fichier
figures/Det_EHI_results_2.pdf (21.27 Ko)
Télécharger le fichier
figures/Det_EHI_results_4.pdf (22.05 Ko)
Télécharger le fichier
figures/Det_EHI_speedresults_2.pdf (4.91 Ko)
Télécharger le fichier
figures/Det_EHI_speedresults_4.pdf (4.99 Ko)
Télécharger le fichier
figures/Det_EI_results_1.pdf (28.8 Ko)
Télécharger le fichier
figures/Det_EI_results_2.pdf (26.63 Ko)
Télécharger le fichier
figures/Det_EI_results_3.pdf (27.01 Ko)
Télécharger le fichier
figures/Det_EI_results_4.pdf (25.67 Ko)
Télécharger le fichier
figures/Det_EI_results_speed_1.pdf (6.52 Ko)
Télécharger le fichier
figures/Det_EI_results_speed_2.pdf (5.17 Ko)
Télécharger le fichier
figures/Det_EI_results_speed_3.pdf (6.35 Ko)
Télécharger le fichier
figures/Det_EI_results_speed_4.pdf (5.15 Ko)
Télécharger le fichier
figures/Fig_alloc_HSRI.pdf (4.97 Ko)
Télécharger le fichier
figures/Lunar_results.pdf (174.49 Ko)
Télécharger le fichier
figures/Noi_EHI_results_1_2.pdf (20.7 Ko)
Télécharger le fichier
figures/Noi_EHI_results_1_4.pdf (21.45 Ko)
Télécharger le fichier
figures/Noi_EHI_results_2_2.pdf (5.05 Ko)
Télécharger le fichier
figures/Noi_EHI_results_2_4.pdf (5.05 Ko)
Télécharger le fichier
figures/Noi_EHI_speedresults_2.pdf (4.95 Ko)
Télécharger le fichier
figures/Noi_EHI_speedresults_4.pdf (4.92 Ko)
Télécharger le fichier
figures/Noi_EI_results_1_1.pdf (26.16 Ko)
Télécharger le fichier
figures/Noi_EI_results_1_2.pdf (29.5 Ko)
Télécharger le fichier
figures/Noi_EI_results_2_1.pdf (22.91 Ko)
Télécharger le fichier
figures/Noi_EI_results_2_2.pdf (23.87 Ko)
Télécharger le fichier
figures/Noi_EI_results_rep_1.pdf (5.07 Ko)
Télécharger le fichier
figures/Noi_EI_results_rep_2.pdf (5.65 Ko)
Télécharger le fichier
figures/Noi_EI_results_speed_1.pdf (5.15 Ko)
Télécharger le fichier
figures/Noi_EI_results_speed_2.pdf (5.65 Ko)
Télécharger le fichier
figures/hyperSharpe.pdf (1.64 Ko)
Télécharger le fichier
figures/hyperSharpe.pdf_tex (2.7 Ko)
Télécharger le fichier
figures/qEI_PF_q_5.pdf (450.67 Ko)
Télécharger le fichier
figures/qEI_PF_q_50.pdf (480.48 Ko)
Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)