On speaker verification from the neural network footprint of personalized acoustic models
Sur la vérification du locuteur à partir de traces d’exécution de modèles acoustiques personnalisés
Résumé
Speaker personalized acoustic models are obtained from a global model by updating its parameters using speaker's data. An important question is whether access to these personalized models allows to easily build an attack to identify the associated speaker. This problem is especially important in the context of federated learning of speech recognition acoustic models where a global model is learnt on the server using the updates received from multiple clients. We propose an approach to analyze information in neural network acoustic models based on a neural network footprint on the so-called indicator dataset. Using this method, we develop two very effective attack models that allow to infer speaker identity from the updated personalized models without access to the users’ speech data.
Les modèles acoustiques personnalisés sont construits par entraînement à partir de données provenant d’un locuteur unique en raffinant un modèle générique. Une question importante est de savoir si l’accès à ces modèles personnalisés permet facilement de construire une attaque permettant d’identifier le locuteur associé. Ce problème est important dans le contexte de l’apprentissage fédéré de modèles pour la reconnaissance de la parole où un modèle global est appris sur un serveur à partir des modifications des paramètres des modèles reçues de plusieurs clients. Nous proposons une méthode qui consiste à construire des empreintes de ces modèles à partir des traces de leur application sur un jeu de données fixe et indépendant que nous appelons indicateur. Grâce à ces empreintes, nous développons deux modèles d’attaques très efficaces qui visent à inférer l’identité du locuteur.
Origine : Fichiers produits par l'(les) auteur(s)