Sparsity-based audio declipping methods: selected overview, new algorithms, and large-scale evaluation - Archive ouverte HAL Access content directly
Journal Articles IEEE/ACM Transactions on Audio, Speech and Language Processing Year : 2021

Sparsity-based audio declipping methods: selected overview, new algorithms, and large-scale evaluation

(1, 2) , (1, 2) , (3, 1) , (1)
1
2
3

Abstract

Recent advances in audio declipping have substan- tially improved the state of the art. Yet, practitioners need guidelines to choose a method, and while existing benchmarks have been instrumental in advancing the field, larger-scale exper- iments are needed to guide such choices. First, we show that the clipping levels in existing small-scale benchmarks are moderate and call for benchmarks with more perceptually significant clipping levels. We then propose a general algorithmic framework for declipping that covers existing and new combinations of variants of state-of-the-art techniques exploiting time-frequency sparsity: synthesis vs. analysis sparsity, with plain or structured sparsity. Finally, we systematically compare these combinations and a selection of state-of-the-art methods. Using a large-scale numerical benchmark and a smaller scale formal listening test, we provide guidelines for various clipping levels, both for speech and various musical genres. The code is made publicly available for the purpose of reproducible research and benchmarking.
Fichier principal
Vignette du fichier
main.pdf (1.39 Mo) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2CHAMBER.pdf (5.77 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2JAZZ.pdf (5.77 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2ORCHESTRA.pdf (5.78 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2PEAQ.pdf (7.47 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2POP.pdf (5.98 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2SPEECH.pdf (5.74 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2SPEECHPESQ.pdf (7.06 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2SPEECHSTOI.pdf (7.29 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/DeclippingRedundancy2VOCALS.pdf (5.77 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/LegendSMALL.pdf (1.85 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/Mushra.pdf (5.91 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/PlainCosparseITER.pdf (36.32 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/PlainSparseITER.pdf (34.85 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SMALLMusicSDR.pdf (5.45 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SMALLPeaq.pdf (7.69 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SMALLPesq.pdf (7.77 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SMALLSpeechSDR.pdf (5.61 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SMALLStoi.pdf (7.04 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SocialCosparseITER.pdf (33.37 Ko) Télécharger le fichier
Vignette du fichier
figures/experiments/SocialSparseITER.pdf (33.57 Ko) Télécharger le fichier
Vignette du fichier
figures/others/SpectrogramTonal.pdf (451.63 Ko) Télécharger le fichier
Vignette du fichier
figures/others/SpectrogramTransient.pdf (357.2 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/musicClipVsPEAQ.pdf (4.92 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/musicClipVsSDR.pdf (5.31 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/musicSDRVsPEAQ.pdf (5.17 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/speechClipVsPESQ.pdf (5.14 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/speechClipVsSDR.pdf (5.33 Ko) Télécharger le fichier
Vignette du fichier
figures/quantifying/speechSDRVsPESQ.pdf (5.32 Ko) Télécharger le fichier
Vignette du fichier
figures/response/Ranking.pdf (5.56 Ko) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

hal-02611226 , version 1 (18-05-2020)
hal-02611226 , version 2 (30-11-2020)
hal-02611226 , version 3 (28-01-2021)

Identifiers

Cite

Clément Gaultier, Srđan Kitić, Rémi Gribonval, Nancy Bertin. Sparsity-based audio declipping methods: selected overview, new algorithms, and large-scale evaluation. IEEE/ACM Transactions on Audio, Speech and Language Processing, 2021, 29, pp.1174-1187. ⟨10.1109/TASLP.2021.3059264⟩. ⟨hal-02611226v3⟩
293 View
447 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More