Empirical Risk Minimization with f -Divergence Regularization in Statistical Learning
Minimisation du Risque Empirique avec Régularisation par f-Divergences dans l’Apprentissage Statistique
Abstract
This report presents the solution to the empirical risk minimization with $f$-divergence regularization, under mild conditions on $f$. Under such conditions, the optimal measure is shown to be unique and to always exist. The solution is presented as a closed-form expression of the Radon-Nikodym derivative of the optimal probability measure with respect to the reference measure. Examples for particular choices of the function $f$ are presented. For some choices, existing results are obtained as special cases of the main result. These include the unique solutions to the empirical risk minimization with relative entropy regularization (Type-I and Type-II).
Ce rapport présente la solution au problème de minimisation du risque empirique avec régularisation par une $f$-divergence dans des faibles contraintes sur $f$. Dans ces conditions, la mesure optimale s’avère unique et existe toujours. La solution est présentée comme une expression sous forme fermée de la dérivée de Radon-Nikodym de la mesure de probabilité optimale par rapport à la mesure de référence. Des exemples de choix particuliers de la fonction $f$ sont présentés. Pour certains choix, des résultats existants sont obtenus comme cas particuliers du résultat principal. Il s'agit notamment des solutions uniques aux problèmes de minimisation du risque empirique avec régularisation par entropie relative (Type-I et Type-II).
Origin : Files produced by the author(s)