28596 articles – 22090 references  [version française]

hal-00677651, version 1

IRIM at TRECVID 2011: Semantic Indexing and Instance Search

Bertrand Delezoide 1, Frédéric Precioso () 23, Philippe-Henri Gosselin (, http://perso-etis.ensea.fr/~gosselin) 2, Miriam Redi 4, Bernard Merialdo 4, Lionel Granjon 5, Denis Pellerin () 5, Michèle Rombaut () 5, Hervé Jégou () 6, Remi Vieux 7, Boris Mansencal () 7, Jenny Benois-Pineau () 7, Stéphane Ayache 8, Bahjat Safadi 9, Franck Thollard 9, Georges Quénot (Author to contact preferably) 9, Hervé Bredin () 10, Matthieu Cord () 11, Alexandre Benoit 12, Patrick Lambert 12, Tiberius Strat 12, Joseph Razik 13, Sébastien Paris 13, Hervé Glotin () 1314

TRECVID 2011 - TREC Video Retrieval Evaluation Online (2011) 12p.

Abstract: The IRIM group is a consortium of French teams work- ing on Multimedia Indexing and Retrieval. This paper describes its participation to the TRECVID 2011 se- mantic indexing and instance search tasks. For the semantic indexing task, our approach uses a six-stages processing pipelines for computing scores for the likeli- hood of a video shot to contain a target concept. These scores are then used for producing a ranked list of im- ages or shots that are the most likely to contain the tar- get concept. The pipeline is composed of the following steps: descriptor extraction, descriptor optimization, classification, fusion of descriptor variants, higher-level fusion, and re-ranking. We evaluated a number of dif- ferent descriptors and tried different fusion strategies. The best IRIM run has a Mean Inferred Average Pre- cision of 0.1387, which ranked us 5th out of 19 partic- ipants. For the instance search task, we we used both object based query and frame based query. We formu- lated the query in standard way as comparison of visual signatures either of object with parts of DB frames or as a comparison of visual signatures of query and DB frames. To produce visual signatures we also used two apporaches: the first one is the baseline Bag-Of-Visual- Words (BOVW) model based on SURF interest point descriptor; the second approach is a Bag-Of-Regions (BOR) model that extends the traditional notion of BOVW vocabulary not only to keypoint-based descrip- tors but to region based descriptors.

  • 1:  Laboratoire d'Intégration des Systèmes et des Technologies (LIST)
  • 2:  Equipes Traitement de l'Information et Systèmes (ETIS)
  • CNRS : UMR8051 – ENSEA – Université de Cergy Pontoise
  • 3:  Laboratoire d'Imagerie Paramétrique (LIP)
  • CNRS : UMR7623 – IFR58 – Université Pierre et Marie Curie [UPMC] - Paris VI
  • 4:  EURECOM
  • EURECOM
  • 5:  Grenoble Images Parole Signal Automatique (GIPSA-lab)
  • CNRS : UMR5216 – Université Joseph Fourier - Grenoble I – Université Pierre-Mendès-France - Grenoble II – Université Stendhal - Grenoble III – Institut Polytechnique de Grenoble - Grenoble Institute of Technology
  • 6:  TEXMEX (INRIA - IRISA)
  • CNRS : UMR6074 – INRIA – Institut National des Sciences Appliquées (INSA) - Rennes – Université de Rennes 1
  • 7:  Laboratoire Bordelais de Recherche en Informatique (LaBRI)
  • CNRS : UMR5800 – Université Sciences et Technologies - Bordeaux I – École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB) – Université Victor Segalen - Bordeaux II
  • 8:  Laboratoire d'informatique Fondamentale de Marseille (LIF)
  • CNRS : UMR6166 – Université de la Méditerranée - Aix-Marseille II – Université de Provence - Aix-Marseille I
  • 9:  Laboratoire d'Informatique de Grenoble (LIG)
  • Université Joseph Fourier - Grenoble I – Institut Polytechnique de Grenoble - Grenoble Institute of Technology – Université Pierre-Mendès-France - Grenoble II – CNRS : UMR5217
  • 10:  Laboratoire Traitement et Communication de l'Information [Paris] (LTCI)
  • Télécom ParisTech – CNRS : UMR5141
  • 11:  Laboratoire d'Informatique de Paris 6 (LIP6)
  • CNRS : UMR7606 – Université Pierre et Marie Curie [UPMC] - Paris VI
  • 12:  Laboratoire d'Informatique, Systèmes, Traitement de l'Information et de la Connaissance (LISTIC)
  • Université de Savoie : EA3703
  • 13:  Laboratoire des Sciences de l'Information et des Systèmes (LSIS)
  • CNRS : UMR6168 – Arts et Métiers ParisTech – Université Paul Cézanne - Aix-Marseille III – Université de la Méditerranée - Aix-Marseille II – Université de Provence - Aix-Marseille I – Université Sud Toulon Var
  • 14:  Institut Universitaire de France (IUF)
  • Ministère de l'Enseignement Supérieur et de la Recherche Scientifique
  • Collaboration : IRIM
  • Domain : Computer Science/Signal and Image Processing
    Engineering Sciences/Signal and Image processing
    Computer Science/Information Retrieval
  • Keywords : Semantic Indexing – high level features extraction – descriptors – classification – fusion – Instance Search
  • Comment : 12 pages - TRECVID workshop notebook papers/slides available at http://www-nlpir.nist.gov/projects/tvpubs/tv.pubs.org.html
 
  • hal-00677651, version 1
  • oai:hal.archives-ouvertes.fr:hal-00677651
  • From: 
  • Submitted on: Thursday, 10 May 2012 11:38:02
  • Updated on: Tuesday, 11 December 2012 17:01:35