Classification et extension automatique d'annotations d'images en utilisant un réseau Bayésien

Sabine Barrat 1 Salvatore Tabbone 1
1 QGAR - Querying Graphics through Analysis and Recognition
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : Nous proposons, dans cet article, d'améliorer la classification d'images, en utilisant une approche de classification visuo-textuelle (à base de caractéristiques visuelles et textuelles), et en étendant automatiquement les annotations existantes aux images non annotées. L'approche proposée est dérivée de la théorie des modèles graphiques probabilistes et dédiée aux deux tâches de classification et d'annotation d'images partiellement annotées. Nous considérons une image comme partiellement annotée si elle ne possède pas le nombre maximal de mots-clés disponibles par image dans la vérité-terrain. Grâce à leur capacité à fonctionner en présence de données manquantes, un modèle graphique probabiliste a été proposé pour représenter les images partiellement annotées. Ce modèle est basé sur un mélange de lois multinomiales et de mélanges de Gaussiennes. La distribution des caractéristiques visuelles est estimée par des mélanges de Gaussiennes et celle des mots-clés par une loi multinomiale. Par conséquent, le modèle proposé ne requiert pas que toutes les images soient annotées : lorsqu'une image est partiellement annotées, les mots-clés manquants sont considérés comme des valeurs manquantes. De plus, notre modèle peut automatiquement étendre des annotations existantes à des images partiellement annotées, sans l'intervention de l'utilisateur. L'incertitude autour de l'association entre un ensemble de mots-clés et une image est capturée par une distribution de probabilité jointe (définie par un mélange de lois multinomiales et de mélanges de Gaussiennes) sur le dictionnaire de mots-clés et les caractéristiques visuelles extraites de notre collection d'images. De plus, de façon à résoudre le problème de dimensionnalité dû à la grande dimension des caractéristiques visuelles, nous avons adapté une méthode de sélection de variables. Les résultats de la classification visuo-textuelle, obtenus sur une base d'images collectées sur Internet, partiellement et manuellement annotée, montrent une amélioration de 32.3 % en terme de taux de reconnaissance, par rapport à la classification basée sur l'information visuelle uniquement. Par ailleurs, l'extension automatique d'annotations, avec notre modèle, sur des images avec mots-clés manquants, améliore encore la classification visuo-textuelle de 6.8 %. Enfin, la méthode proposée s'est montrée compétitive avec des classificateurs de l'état de l'art.
Type de document :
Article dans une revue
Traitement du Signal, Lavoisier, 2009, 26 (5), pp.24. 〈http://hdl.handle.net/2042/32607〉
Liste complète des métadonnées

Littérature citée [33 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/inria-00539035
Contributeur : Sabine Barrat <>
Soumis le : mardi 23 novembre 2010 - 17:19:52
Dernière modification le : mardi 24 avril 2018 - 13:55:34
Document(s) archivé(s) le : jeudi 24 février 2011 - 03:22:40

Fichier

ts.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : inria-00539035, version 1

Collections

Citation

Sabine Barrat, Salvatore Tabbone. Classification et extension automatique d'annotations d'images en utilisant un réseau Bayésien. Traitement du Signal, Lavoisier, 2009, 26 (5), pp.24. 〈http://hdl.handle.net/2042/32607〉. 〈inria-00539035〉

Partager

Métriques

Consultations de la notice

146

Téléchargements de fichiers

422