Benchmarking for syntax-based sentential inference

Paul Bedaride 1 Claire Gardent 1
1 TALARIS - Natural Language Processing: representation, inference and semantics
Inria Nancy - Grand Est, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Abstract : We propose a methodology for investigat- ing how well NLP systems handle mean- ing preserving syntactic variations. We start by presenting a method for the semi automated creation of a benchmark where entailment is mediated solely by meaning preserving syntactic variations. We then use this benchmark to compare a seman- tic role labeller and two grammar based RTE systems. We argue that the proposed methodology (i) supports a modular eval- uation of the ability of NLP systems to handle the syntax/semantic interface and (ii) permits focused error mining and er- ror analysis.
Type de document :
Communication dans un congrès
The 23rd International Conference on Computational Linguistics - COLING 2010, Aug 2010, Beijing, China. 2010
Liste complète des métadonnées

Littérature citée [20 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/inria-00536022
Contributeur : Paul Bedaride <>
Soumis le : lundi 15 novembre 2010 - 09:44:09
Dernière modification le : jeudi 11 janvier 2018 - 06:21:35
Document(s) archivé(s) le : vendredi 26 octobre 2012 - 15:40:19

Fichier

bedgar-acl10-coling10.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : inria-00536022, version 1

Collections

Citation

Paul Bedaride, Claire Gardent. Benchmarking for syntax-based sentential inference. The 23rd International Conference on Computational Linguistics - COLING 2010, Aug 2010, Beijing, China. 2010. 〈inria-00536022〉

Partager

Métriques

Consultations de la notice

173

Téléchargements de fichiers

100