Hamming Embedding and Weak Geometry Consistency for Large Scale Image Search - extended version - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Rapport (Rapport De Recherche) Année : 2008

Hamming Embedding and Weak Geometry Consistency for Large Scale Image Search - extended version

Hervé Jégou
  • Fonction : Auteur
  • PersonId : 833473
Matthijs Douze
  • Fonction : Auteur
  • PersonId : 843109
Cordelia Schmid
  • Fonction : Auteur
  • PersonId : 831154

Résumé

This technical report presents and extends a recent paper we have proposed for large scale image search. State-of-the-art methods build on the bag-of- features image representation. We first analyze bag-of-features in the framework of approximate nearest neighbor search. This shows the sub-optimality of such a representation for matching descriptors and leads us to derive a more precise representation based on 1) Hamming embedding (HE) and 2) weak geometric consistency constraints (WGC). HE provides binary signatures that refine the matching based on visual words. WGC filters matching descriptors that are not consistent in terms of angle and scale. HE and WGC are integrated within an inverted file and are efficiently exploited for all images, even in the case of very large datasets. Experiments performed on a dataset of one million of images show a significant improvement due to the binary signature and the weak geometric consistency constraints, as well as their efficiency. Estimation of the full geometric transformation, i.e., a re-ranking step on a short list of images, is complementary to our weak geometric consistency constraints and allows to further improve the accuracy.
Ce rapport technique reprend et étend un article récent sur la recherche d'images dans des grandes bases. Les méthodes de l'état de l'art reposent sur une représentation des images par sac de mots. Nous exprimons la mise en correspondance de ces descripteurs dans le contexte de la recherche approximative de plus proches voisins. Nous montrons que cette représentation est sous-optimale. Ceci nous amène à définir une représentation plus précise, basée sur 1) l'immersion dans un espace de Hamming (HE) et 2) des contraintes géométriques faibles (WGC). Le HE ajoute aux descripteurs une signature binaire qui permet d'affiner leur mise en correspondance. Le WGC filtre les correspondances de points dont les caractéristiques d'angle et d'échelle ne sont pas cohérentes. HE et WGC sont intégrés dans une structure de fichier invers é et appliqués à toutes les images, mˆeme pour de très grandes bases. Des expériences sur un million d'images montrent que la signature binaire et la contrainte géométrique faible améliorent significativement la précision, sans allongement des temps de calcul. Le réordonnancement des meilleures images par l'estimation d'une transformation géométrique complète est complémentaire avec notre WGC, et améliore encore la précision.
Fichier principal
Vignette du fichier
jegou_hewgc_extended.pdf (2.88 Mo) Télécharger le fichier
Vignette du fichier
test.gif (46.06 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Format : Figure, Image
Loading...

Dates et versions

inria-00548651 , version 1 (20-12-2010)

Identifiants

  • HAL Id : inria-00548651 , version 1

Citer

Hervé Jégou, Matthijs Douze, Cordelia Schmid. Hamming Embedding and Weak Geometry Consistency for Large Scale Image Search - extended version. [Research Report] 6709, 2008, pp.27. ⟨inria-00548651⟩
4743 Consultations
853 Téléchargements

Partager

Gmail Facebook X LinkedIn More