Segmentation of road scene omnidirectional images
Segmentatiοn d'images οmnidirectiοnnelles de scènes rοutières
Résumé
A full comprehensive understanding of the surrounding scene is paramount for all mobile robots in general and intelligent transportation systems (ITS) or autonomous driving vehicles (AD) in particular. Several image-based solutions attempt to reach this goal through computer vision tasks. Mainly these solutions are based on trainable models that are data oriented. The availability of annotated data is then very important to train the models in order to achieve the desired task. In this thesis, we propose synthetic images datasets with ground truth for several computer vision tasks with a focus on omnidirectional images since they are highly used in the field of ITS thanks to their large field of view and theability to reveal information from broader surroundings. The proposed datasets are then used to take stock on the progress made in the literature on semantic segmentation of omnidirectional images through a thorough comparative study. Several experiments were conducted using several image representations and modalities to find the finest solution to semantically segment omnidirectional images. The results of the comparative study in addition to the proposed datasets were then used to propose an application focusing on the added value of deformable convolutions in segmenting omnidirectional images.
Une compréhension complète et exhaustive de la scène environnante est primordiale pour tous les robots mobiles en général et les systèmes de transport intelligents (ITS) ou les véhicules à conduite autonome (AD) en particulier. Plusieurs solutions basées sur l’image tentent d’atteindre cet objectif grâce à des tâches de vision par ordinateur. Ces solutions sont principalement basées sur des modèles entraînables sur des données labelisées. La disponibilité des données annotées est alors très importante pour entraîner les modèles afin de réaliser la tâche souhaitée. Dans cette thèse, nous proposons des ensembles de données d’images synthétiques avec vérité terrain pour plusieurs tâches de vision par ordinateur en mettant l’accent sur les images omnidirectionnelles car elles sont très utilisées dans le domaine des STI grâce à leur large étendue et leur capacité à révéler des informations provenant d’un large champ de vision. Les jeux de données proposés sont ensuite utilisés pour faire le point sur l’avancée atteinte dans la littérature sur la segmentation sémantique des images omnidirectionnelles à travers une étude comparative approfondie. Plusieurs expériences ont étémenées en utilisant plusieurs représentations d’images et modalités pour trouver la solution la plus adaptée pour segmenter sémantiquement des images omnidirectionnelles. Les résultats de l’étude comparative en plus des jeux de données proposés ont ensuite été utilisés pour proposer une application se concentrant sur la valeur ajoutée des convolutions déformables dans la segmentation d’images omnidirectionnelles
Origine : Version validée par le jury (STAR)