Agrégation d'estimations semi-locales pour le flot optique
Résumé
Most existing methods for optical flow estimation rely on a global variational framework suffering from several limitations like loss of small structures with large displacements or over-smoothing of motion discontinuities. We present a novel optical flow estimation method based on a two-stage aggregation framework and designed to handle these issues. First, semi-local candidates are estimated with a combination of patch correspondences and affine motion estimations. Then, the candidates are combined in an aggregation stage creating a dense global flow field. We propose two distinct aggregation methods : the first one operates in a discrete framework and selects one candidate at each pixel with a graph-cut based optimization; the second one combines sparse continuous optimization and confidence measure and tolerates deviations from the candidates. Both approaches are free of coarse-to-fine schemes. Improvements on the aforementioned complex motion configurations are demonstrated on challenging examples.
La plupart des méthodes d'estimation du flot optique s'appuient sur un schéma variationnel global souffrant de plusieurs limitations dont la perte des grands déplacement de petites structures ou un certain lissage des discontinuités de mouvement. Nous présentons une nouvelle méthode d'estimation du flot optique basée sur un schéma d'agrégation à deux étapes, et conçue pour dépasser ces limitations. Dans un premier temps, des candidats semi-locaux sont estimés avec une combinaison de correspondances de patchs et d'estimations de mouvement affine. Dans un second temps, les candidats sont combinés dans une étape d'agrégation permettant d'élaborer un champ de mouvement dense global. Nous proposons deux méthodes d'agrégation distinctes : la première considère un schéma discret et sélectionne un candidat en chaque pixel avec une optimisation de type "graph-cut"; la seconde combine optimisation continue parcimonieuse et mesures de confiance, et tolère des déviations par rapport aux candidats. Les deux approches n'utilisent pas de schéma multi-résolution. Les améliorations obtenues pour les configurations complexes de mouvement mentionnées ci-dessus sont illustrées sur plusieurs exemples.