Audio-Visual Multiple-Speaker Tracking for Robot Perception
Suivi multi-locuteurs avec des informations audio-visuelles pour la perception des robots
Résumé
Robot perception plays a crucial role in human-robot interaction (HRI). The
perception system provides the robot with information of the surroundings
and enables it to interact with people. In a conversational scenario, a group
of people may chat in front of the robot and move freely. In such situations,
robots are expected to understand where the people are, who is speaking, or
what they are talking about. This thesis concentrates on answering the first
two questions, namely speaker tracking and diarization. To that end, we use
different modalities of the robot’s perception system. Similar to seeing and
hearing for humans, audio and visual information are critical cues for robots
in a conversational scenario. Advancements in computer vision and audio
processing in the last decade revolutionized robot perception abilities and enabled
us to build joint audio-visual applications. In this thesis, we present the
following contributions: we first develop a variational Bayesian framework
for tracking multiple objects. The variational Bayesian framework provides
closed-form tractable problem solutions, enabling an efficient tracking process.
The framework is first applied to visual multiple-person tracking. The
birth and death processes are built jointly to deal with the varying number
of people in the scene. We then augment the framework by exploiting the
complementarity of vision and robot motor information. On the one hand, the
robot’s active motion can be integrated into the visual tracking system to stabilize
the tracking. On the other hand, visual information can be used to perform
motor servoing. As a next step we combine audio and visual information in the
framework and exploit the association between the acoustic feature frequency
bins with tracked people, to estimate the smooth trajectories of people, and to
infer their acoustic status (i.e. speaking or silent). To adapt the framework to
applications with no vision information, we employ it to acoustic-only speaker
localization and tracking. Online dereverberation techniques are first applied
then followed by the tracking system. Finally, we propose a variant of the
acoustic-only tracking model based on the von-Mises distribution, which is
specifically adapted to directional data. All proposed methods are validated
on datasets both qualitatively and quantitatively.
La perception des robots joue un rôle crucial dans l’interaction homme-robot
(HRI). Le système de perception fournit les informations au robot sur
l’environnement, ce qui permet au robot de réagir en conséquence. Dans un
scénario de conversation, un groupe de personnes peut discuter devant le robot
et se déplacer librement. Dans de telles situations, les robots sont censés comprendre
où sont les gens, ceux qui parlent et de quoi ils parlent. Cette thèse se
concentre sur les deux premières questions, à savoir le suivi et la diarisation
des locuteurs. Nous utilisons différentes modalités du système de perception
du robot pour remplir cet objectif. Comme pour l’humain, l’ouïe et la vue
sont essentielles pour un robot dans un scénario de conversation. Les progrès
de la vision par ordinateur et du traitement audio de la dernière décennie ont
révolutionné les capacités de perception des robots. Dans cette thèse, nous
développons les contributions suivantes : nous développons d’abord un cadre
variationnel bayésien pour suivre plusieurs objets. Le cadre bayésien variationnel
fournit des solutions explicites, rendant le processus de suivi très efficace.
Cette approche est d’abord appliqué au suivi visuel de plusieurs personnes.
Les processus de créations et de destructions sont en adéquation avec
le modèle probabiliste proposé pour traiter un nombre variable de personnes.
De plus, nous exploitons la complémentarité de la vision et des informations
du moteur du robot : d’une part, le mouvement actif du robot peut être intégré
au système de suivi visuel pour le stabiliser ; d’autre part, les informations visuelles
peuvent être utilisées pour effectuer l’asservissement du moteur. Par la
suite, les informations audio et visuelles sont combinées dans le modèle variationnel,
pour lisser les trajectoires et déduire le statut acoustique d’une personne:
parlant ou silencieux. Pour expérimenter un scenario où l’information
visuelle est absente, nous essayons le modèle pour la localisation et le suivi des
locuteurs basé sur l’information acoustique uniquement. Les techniques de
déréverbération sont d’abord appliquées, dont le résultat est fourni au système
de suivi. Enfin, une variante du modèle de suivi des locuteurs basée sur la distribution
de von-Mises est proposée, celle-ci étant plus adaptée aux données
directionnelles. Toutes les méthodes proposées sont validées sur des bases de
données spécifiques à chaque application.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...