Instance-level video segmentation from object tracks

Guillaume Seguin 1, 2 Piotr Bojanowski 1, 2 Rémi Lajugie 1, 3 Ivan Laptev 2
1 LIENS - Laboratoire d'informatique de l'école normale supérieure
2 WILLOW - Models of visual object recognition and scene understanding
Inria de Paris, DI-ENS - Département d'informatique de l'École normale supérieure
3 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We address the problem of segmenting multiple object instances in complex videos. Our method does not require manual pixel-level annotation for training, and relies instead on readily-available object detectors or visual object tracking only. Given object bounding boxes at input, we cast video segmentation as a weakly-supervised learning problem. Our proposed objective combines (a) a discrim-inative clustering term for background segmentation, (b) a spectral clustering one for grouping pixels of same object instances, and (c) linear constraints enabling instance-level segmentation. We propose a convex relaxation of this problem and solve it efficiently using the Frank-Wolfe algorithm. We report results and compare our method to several base-lines on a new video dataset for multi-instance person seg-mentation.
Type de document :
Communication dans un congrès
CVPR 2016, Jun 2016, Las Vegas, United States. Proceedings of the 29th IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 〈http://cvpr2016.thecvf.com/〉
Liste complète des métadonnées

Littérature citée [46 références]  Voir  Masquer  Télécharger
https://hal.inria.fr/hal-01255765
Contributeur : Guillaume Seguin <>
Soumis le : mercredi 13 janvier 2016 - 22:44:29
Dernière modification le : jeudi 26 avril 2018 - 10:29:12
Document(s) archivé(s) le : vendredi 11 novembre 2016 - 05:04:25

Fichier

seguin2016multi.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01255765, version 1

Collections

ENS-PARIS | INRIA | PSL | INRIA-ROCQ

Citation

Guillaume Seguin, Piotr Bojanowski, Rémi Lajugie, Ivan Laptev. Instance-level video segmentation from object tracks. CVPR 2016, Jun 2016, Las Vegas, United States. Proceedings of the 29th IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 〈http://cvpr2016.thecvf.com/〉. 〈hal-01255765〉

Exporter

BibTeX TEI DC DCterms EndNote

Partager

Métriques

Consultations de la notice

859

Téléchargements de fichiers

1523

Contact


archive-ouverte@inria.fr