Subjective and objective quality assessment of audio source separation
Résumé
We aim to assess the perceived quality of estimated source signals in the context of audio source separation. These signals may involve one or more kinds of distortions, including distortion of the target source, interference from the other sources or musical noise artifacts. We propose a subjective test protocol to assess the perceived quality with respect to each kind of distortion and collect the scores of 20 subjects over 80 sounds. We then propose a family of objective measures aiming to predict these subjective scores based on the decomposition of the estimation error into several distortion components and on the use of the PEMO-Q perceptual salience measure. These measures increase correlation with subjective scores up to 0.5 compared to nonlinear mapping of individual state-of-the-art source separation measures.
Cette étude porte sur la qualité perceptive des signaux des sources estimés dans le cadre de la séparation de sources audio. Ces signaux peuvent présenter plusieurs types de distortions, notamment la distortion de la source cible, les interférences liées aux autres sources et les artefacts de type bruit musical. Nous proposons un protocole de test subjectif pour établir la qualité liée à la perception de chaque type de distortion. L'évaluation de 80 sons par 20 sujets a ainsi été réalisée. Nous proposons ensuite un ensemble de mesures objectives permettant de prédire ces critères de qualité via une décomposition de l'erreur d'estimation en plusieurs composantes de distortion et via l'utilisation de la mesure de qualité perceptive PEMO-Q. Par rapport aux mesures de l'état de l'art, la corrélation entre ces mesures et les notes subjectives est meilleure, avec un gain pouvant atteindre 0,5.