Deep Regression Models and Computer Vision Applications for Multi-Person Human-Robot Interaction
Modèles profonds de regression et applications à la vision par ordinateur pour l'interaction homme-robot
Résumé
In order to interact with humans, robots need to perform basic perception tasks such as
face detection, human pose estimation or speech recognition. However, in order have a natural interaction with humans, the robot needs to model high level concepts such
as speech turns, focus of attention or interactions between participants in a conversation. In this manuscript, we follow a top-down approach.
On the one hand, we present two high-level methods that model collective human behaviors.
We propose a model able to recognize activities that are performed by different
groups of people jointly, such as queueing, talking. Our approach handles the general case where several group
activities can occur simultaneously and in sequence.
On the other hand, we introduce a novel neural network-based reinforcement learning approach for robot gaze control. Our approach enables a robot
to learn and adapt its gaze control strategy in the context of
human-robot interaction. The robot is able to learn to focus its attention on
groups of people from its own audio-visual experiences.
Second, we study in detail deep learning approaches for regression problems. Regression problems are crucial in the context of human-robot interaction in order to obtain reliable information about head and body poses or the age of the persons facing the robot. Consequently, these contributions are really general and can be applied in many different contexts. First, we propose to couple a Gaussian mixture of linear inverse regressions with a convolutional neural network. Second, we introduce a Gaussian-uniform mixture model in order to make the training algorithm more robust to noisy annotations. Finally, we perform a large-scale study to measure the impact of several architecture choices and extract practical recommendations when using deep learning approaches in regression tasks. For each of these contributions, a strong experimental validation has been performed with real-time experiments on the NAO robot or on large and diverse data-sets.
Dans le but d'interagir avec des êtres humains, les robots doivent effectuer des tâches de perception basique telles que
la détection de visage, l'estimation de la pose des personnes ou la reconnaissance de la parole. Cependant, pour interagir naturellement, avec les hommes, le robot doit modéliser des concepts de haut niveau tels que
les tours de paroles dans un dialogue, le centre d'intérêt d'une conversion, ou les interactions entre les participants. Dans ce manuscrit, nous suivons une approche ascendante (dite ``top-down'').
D'une part, nous présentons deux méthodes de haut niveau qui modélisent les comportements collectifs.
Ainsi, nous proposons un modèle capable de reconnaître les activités qui sont effectuées par différents
des groupes de personnes conjointement, tels que faire la queue, discuter. Notre approche gère le cas général oùplusieurs activités peuvent se dérouler simultanément et en séquence. D'autre part, nous introduisons une nouvelle approche d'apprentissage par renforcement de réseau de neurones pour le contrôle de la direction du regard du robot. Notre approche permet à un robot d'apprendre et d'adapter sa stratégie de contrôle du regard dans le contexte de
l'interaction homme-robot. Le robot est ainsi capable d'apprendre à concentrer son attention sur
des groupes de personnes en utilisant seulement ses propres expériences (sans supervision extérieur).
Dans un deuxième temps, nous étudions en détail les approches d'apprentissage profond pour les problèmes de régression. Les problèmes de régression sont cruciaux dans le contexte de l'interaction homme-robot afin d'obtenir des informations fiables sur les poses de la tête et du corps des personnes faisant face au robot. Par conséquent, ces contributions sont vraiment générales et peuvent être appliquées dans de nombreux contextes différents. Dans un premier temps, nous proposons de coupler un mélange gaussien de régressions inverses linéaires avec un réseau de neurones convolutionnels. Deuxièmement, nous introduisons un modèle de mélange gaussien-uniforme afin de rendre l'algorithme d'apprentissage plus robuste aux annotations bruitées. Enfin, nous effectuons une étude à grande échelle pour mesurer l'impact de plusieurs choix d'architecture et extraire des recommandations pratiques lors de l'utilisation d'approches d'apprentissage profond dans des tâches de régression. Pour chacune de ces contributions, une intense validation expérimentale a été effectuée avec des expériences en temps réel sur le robot NAO ou sur de larges et divers ensembles de données.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...