s'authentifier
version française rss feed

inria-00440973, version 2

Mining visual actions from movies

Adrien Gaidon (Auteur à contacter de préférence) b1, Marcin Marszalek a2, Cordelia Schmid () b1

British Machine Vision Conference (2009) 128

Résumé : This paper presents an approach for mining visual actions from real-world videos. Given a large number of movies, we want to automatically extract short video sequences corresponding to visual human actions. Firstly, we retrieve actions by mining verbs extracted from the transcripts aligned with the videos. Not all of these samples visually characterize the action and, therefore, we rank these videos by visual consistency. We investigate two unsupervised outlier detection methods: one-class Support Vector Machine (SVM) and densest component estimation of a similarity graph. Alternatively, we show how to use automatic weak supervision provided by a random background class, either by directly applying a binary SVM, or by using an iterative re-training scheme for Support Vector Regression machines (SVR). Experimental results explore actions in 144 episodes of the TV series ''Buffy the Vampire Slayer'' and show: (a) the applicability of our approach to a large scale set of real-world videos, (b) the importance of visual consistency for ranking videos retrieved from text, (c) the added value of random non-action samples and (d) the ability of our iterative SVR re-training algorithm to handle weak supervision. The quality of the rankings obtained is assessed on manually annotated data for six different action classes.

  • Icone de top_punch_02.png
  • Domaine : Informatique/Vision par ordinateur et reconnaissance de formes
    Informatique/Apprentissage
  • Mots-clés : LEAR – MSR-INRIA – human actions – visual consistency – iter-SVR – videos – movies – Buffy – action recognition – retrieval – ranking
  • Commentaire : Page web de l'article : http://lear.inrialpes.fr/pubs/2009/GMS09/
  • Versions disponibles :  v1 (14-12-2009) v2 (25-04-2012)
 
  • inria-00440973, version 2
  • oai:hal.inria.fr:inria-00440973
  • Contributeur : 
  • Soumis le : Mercredi 25 Avril 2012, 13:50:00
  • Dernière modification le : Mercredi 25 Avril 2012, 14:16:25
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...
tous les articles de la base du CCSd...