Interprétation des énoncés langue+geste en situation de dialogue homme-machine

Laurent Romary 1 Nadia Bellalem 1
1 LANGUE ET DIALOGUE - Human-machine dialogue with a significant language component
INRIA Lorraine, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : La mise en œuvre de systèmes de dialogue homme-machine nécessite, de façon primordiale, de définir une composante référentielle qui puisse prendre en compte l'ensemble des formes référentielles qu'un locuteur risque spontanément d'exprimer. Une telle composante s'inscrit naturellement dans la continuité des travaux menés depuis une quinzaine d'année sur le traitement spécifique de l'anaphore dans les systèmes de compréhension du langage naturel. Cependant, la situation est encore plus complexe si l'on considère une interaction homme-machine où l'échange n'est plus seulement verbal, mais s'ancre sur une présentation graphique de la tâche en cours de réalisation. A un traitement des anaphoriques, il est nécessaire d'ajouter les éventuelles références déictiques, qui peuvent prendre la forme soit d'expressions spatiales, soit d'expressions co-gestuelles dans le cadre de dialogues véritablement multimodaux. L'objectif de notre présentation sera de détailler les différents facteurs qui interviennent dans la compréhension de cette dernière catégorie d'expressions. Nous verrons que la langue sert bien sûr de pivot à l'ensemble du processus d'analyse, mais qu'il est aussi nécessaire de faire intervenir des informations précises concernant la perception visuelle et conceptuelle qu'a l'utilisateur de l'environnement graphique qui lui est présenté. Nous montrerons, en illustrant l'exposé d'exemples réels de dialogues finalisés, quelles sont les pistes de recherche à suivre pour combiner efficacement les différentes sources d'information, ainsi que les méthodes d'analyse du geste à considérer.
Document type :
Documents associated with scientific events
Liste complète des métadonnées

https://hal.inria.fr/inria-00521576
Contributor : Laurent Romary <>
Submitted on : Tuesday, September 28, 2010 - 9:30:09 AM
Last modification on : Friday, March 22, 2019 - 2:22:12 PM
Document(s) archivé(s) le : Wednesday, December 29, 2010 - 2:37:06 AM

Files

ExposA_.Cluny-avril96.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : inria-00521576, version 1

Citation

Laurent Romary, Nadia Bellalem. Interprétation des énoncés langue+geste en situation de dialogue homme-machine. 3e cycle romand de sciences du langage, Apr 1996, Cluny, France. ⟨inria-00521576⟩

Share

Metrics

Record views

117

Files downloads

48