Annotating omission in statement pairs

Abstract : In this piece of industrial application, we focus on the identification of omission in statement pairs for an online news platform. We compare three annotation schemes, namely two crowdsourcing schemes and an expert annotation. The simplest of the two crowdsourcing approaches yields a better annotation quality than the more complex one. We use a dedicated classifier to assess whether the annotators' behaviour can be explained by straightforward linguistic features. However , for our task, we argue that expert and not crowdsourcing-based annotation is the best compromise between cost and quality.
Type de document :
Communication dans un congrès
11th Linguistic Annotation Workshop, Apr 2017, Valencia, Spain. pp.41-45, 2017
Liste complète des métadonnées

Littérature citée [17 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01584035
Contributeur : Benoît Sagot <>
Soumis le : vendredi 8 septembre 2017 - 12:26:31
Dernière modification le : samedi 9 juin 2018 - 10:30:06

Fichier

annotating-omission-statement....
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01584035, version 1

Collections

Citation

Héctor Martínez Alonso, Amaury Delamaire, Benoît Sagot. Annotating omission in statement pairs. 11th Linguistic Annotation Workshop, Apr 2017, Valencia, Spain. pp.41-45, 2017. 〈hal-01584035〉

Partager

Métriques

Consultations de la notice

81

Téléchargements de fichiers

28