A Bio-inspired Synergistic Virtual Retina Model for Tone Mapping - Archive ouverte HAL Access content directly
Reports (Research Report) Year : 2017

A Bio-inspired Synergistic Virtual Retina Model for Tone Mapping

Un Modèle de Rétine Bio-inspiré Synergique pour le Tone Mapping

(1) , (2) , (1)
1
2

Abstract

Real-world radiance values span several orders of magnitudes which have to be processed by artificial systems in order to capture visual scenes with a high visual sensitivity. Interestingly, it has been found that similar processing happen in biological systems, starting at the retina level. So our motivation in this paper is to develop a new video tone mapping operator (TMO) based on a synergistic model of the retina. We start from the so-called Virtual Retina model, which has been developed in computational neuroscience. We show how to enrich this model with new features to use it as a TMO, such as color management, luminance adaptation at photoreceptor level and readout from a heterogeneous population activity. Our method works for video but can also be applied to static image (by repeating image in time). It has been carefully evaluated on standard benchmarks in the static case, giving comparable results to the state-of-the- art using default parameters, while offering user control for finer tuning. Result on HDR video are also promising, specifically w.r.t. temporal luminance coherency. Code is available as a Python notebook and a C++ implementation through GitHub so that reader could test and experiment the approach step-by-step. As a whole, this paper shows a promising way to address computational photography challenges by exploiting the current research in neuroscience about retina processing.
Les valeurs de luminance du monde réel s’étendent sur plusieurs ordres de grandeurs qui doivent être traitées par des systèmes artificiels afin de capturer des scènes visuelles avec une sensibilité visuelle élevée. Fait intéressant, il a été constaté que des traitements similaires se produisent dans les systèmes biologiques, et ce dès la rétine. Ainsi notre motivation dans cet article est de développer un nouvel opérateur de tone mapping (TMO) basé sur un modèle synergique de la rétine. Nous partons du modèle Virtual Retina, qui a été développé en neuroscience computationnelle. Nous montrons comment enrichir ce modèle avec de nouvelles fonctionnalités pour l’utiliser comme un TMO, à savoir la gestion des couleurs, l’adaptation de la luminance au niveau des photorécepteurs et la création d’une image de sortie à partir d’une activité de population hétérogène. Notre méthode fonctionne pour la vidéo mais peut également être appliquée à l’image statique (en répétant l’image dans le temps). Elle a été soigneusement évalué sur des benchmarks standards dans le cas statique, donnant des résultats comparables à l’état de l’art en utilisant des paramètres par défaut, tout en offrant un contrôle utilisateur pour un réglage plus fin. Les résultats sur une vidéo HDR sont également prometteurs, spécifiquement par rapport à la cohérence de luminance temporelle. Le code est disponible sous forme de bloc-notes Python et une implémentation C ++ via GitHub afin que le lecteur puisse tester et expérimenter l’approche étape par étape. Dans son ensemble, cet article décrit un moyen prometteur de relever les défis de la photographie numérique en exploitant la recherche actuelle en neurosciences sur le traitement de la rétine.
Fichier principal
Vignette du fichier
RR-9033-v3-2.pdf (160.41 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-01478391 , version 1 (28-02-2017)
hal-01478391 , version 2 (22-11-2017)

Identifiers

  • HAL Id : hal-01478391 , version 2

Cite

Marco Benzi, Maria-Jose U Escobar, Pierre Kornprobst. A Bio-inspired Synergistic Virtual Retina Model for Tone Mapping . [Research Report] RR-9033, Inria Sophia Antipolis. 2017, pp.30. ⟨hal-01478391v2⟩
616 View
140 Download

Share

Gmail Facebook Twitter LinkedIn More