Fusion de multi-modalités et réduction par sémantique latente Application à la recherche de documents multimédia et à l'annotation automatique d'images

Trong-Ton Pham 1 Jean-Pierre Chevallet 1 Joo-Hwee Lim 2, 3
1 MRIM - Modélisation et Recherche d’Information Multimédia [Grenoble]
LIG - Laboratoire d'Informatique de Grenoble, Inria - Institut National de Recherche en Informatique et en Automatique
Résumé : Ce papier étudie la "sémantique latente" entre des éléments visuels et textuels d'une collection multimédia, appliquée à deux tâches : (1) la Recherche de Document Multimédia (RDM) contenant des images et du texte ; et (2) l'Annotation Automatique d'Images (AAI). La sémantique latente, habituellement utilisée dans l'indexation textuelle, est mise à profit ici pour faire apparaître des liens entre les descriptions textuelles et visuelles des images. Nous avons ainsi deux contributions principales. Il s'agit d'une part, de la première étude sur l'influence de la sémantique latente entre termes textuels et visuels, sur une grande collection de documents. En effet, cette méthode est testée sur une collection de 20000 images touristiques. D'autre part, nous démontrons que la fusion des différents modalités d'image (i.e. termes visuels vs textuels, et différentes méthode de représentations d'image) améliore le résultat d'une annotation au- tomatique des images par du texte. Nos collections de test sont la base d'images annotées de COREL et la base d'Image CLEF 2006.
Document type :
Conference papers
Liste complète des métadonnées

Cited literature [11 references]  Display  Hide  Download

https://hal.inria.fr/hal-00954029
Contributor : Marie-Christine Fauvet <>
Submitted on : Friday, February 28, 2014 - 4:09:40 PM
Last modification on : Saturday, March 23, 2019 - 1:28:35 AM
Document(s) archivé(s) le : Wednesday, May 28, 2014 - 6:00:10 PM

File

39.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : hal-00954029, version 1

Citation

Trong-Ton Pham, Jean-Pierre Chevallet, Joo-Hwee Lim. Fusion de multi-modalités et réduction par sémantique latente Application à la recherche de documents multimédia et à l'annotation automatique d'images. CORIA, 2008, Tregastel, France. ⟨hal-00954029⟩

Share

Metrics

Record views

396

Files downloads

184