Assessment of photos in albums based on aesthetics and context - Archive ouverte HAL Access content directly
Theses Year : 2019

Assessment of photos in albums based on aesthetics and context

Évaluation de photos dans des albums basée sur l'esthétique et le contexte

(1, 2)
1
2

Abstract

An automatic photo assessment can significantly aid the process of photo selection within photo collections. However, existing computational methods approach this problem in an independent manner, by evaluating each image apart from other images in a photo album. In this thesis, we explore the modeling of photo context via a clustering approach for photo collections and the possibility of applying such context information in photo assessment. To better understand user actions within photo albums, we conduct experimental user studies, where we study how users cluster and select photos in photo collections. We estimate the level of agreement between users and investigate how the context, defined by similar photos in corresponding clusters, influences their decisions. After studying the nature of user decisions, we propose a computational approach to model user behavior. First, we introduce a hierarchical clustering method, which allows to group similar photos according to a multi-level similarity structure, based on visual descriptors. Then, the photo context information is extracted from the obtained cluster data and used to adapt a pre-computed independent photo score, using the statistics-based data and a machine learning approach. In addition, as the majority of recent methods for photo assessment are based on convolutional neural networks, we explore and visualize the aesthetic characteristics learned by such methods.
Le processus de sélection de photos dans des albums peut être considérablement amélioré à l’aide d’un critère d’évaluation automatique des qualités d’une photo. Cependant, les méthodes existantes abordent ce problème de manière indépendante, c’est à dire en évaluant chaque image séparément des autres images d'un album. Dans cette thèse, nous explorons la modélisation du contexte d’une photo via une approche de clustering de collections de photos et la possibilité d'appliquer l’information de contexte à l'évaluation d’une photo. Nous avons effectué des études subjectives permettant d’étudier la manière dont les utilisateurs regroupent et sélectionnent des photos dans un album. Ces études ont permis une estimation du niveau de l’accord entre les différents utilisateurs. Nous avons aussi étudié la manière dont le contexte influence leurs décisions. Après avoir étudié la nature des décisions des utilisateurs, nous proposons une approche informatique pour modéliser leur comportement. Tout d'abord, nous introduisons une méthode de clustering hiérarchique, qui permet de regrouper des photos similaires selon une structure de similarité à plusieurs niveaux, basée sur des descripteurs visuels. Ensuite, les informations de contexte de la photo sont utilisées pour adapter le score de la photo pré-calculé indépendamment, en utilisant les données basées sur des statistiques et une approche d'apprentissage automatique. De plus, comme la majorité des méthodes récentes d'évaluation de la photo sont basées sur des réseaux de neurones convolutionnels, nous avons exploré et visualisé les caractéristiques esthétiques apprises par ces méthodes.
Fichier principal
Vignette du fichier
KUZOVKIN_Dmitry.pdf (7.01 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)
Loading...

Dates and versions

tel-02345620 , version 1 (05-11-2019)
tel-02345620 , version 2 (22-11-2019)

Identifiers

  • HAL Id : tel-02345620 , version 2

Cite

Dmitry Kuzovkin. Assessment of photos in albums based on aesthetics and context. Image Processing [eess.IV]. Université Rennes 1, 2019. English. ⟨NNT : 2019REN1S032⟩. ⟨tel-02345620v2⟩
292 View
251 Download

Share

Gmail Facebook Twitter LinkedIn More