Acoustic-visual synthesis technique using bimodal unit-selection - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Document Associé À Des Manifestations Scientifiques EURASIP Journal on Audio, Speech, and Music Processing Année : 2013

Acoustic-visual synthesis technique using bimodal unit-selection

Résumé

This paper presents a bimodal acoustic-visual synthesis technique that concurrently generates the acoustic speech signal and a 3D animation of the speaker's outer face. This is done by concatenating bimodal diphone units that consist of both acoustic and visual information. In the visual domain, we mainly focus on the dynamics of the face rather than on rendering. The proposed technique overcomes the problems of asynchrony and incoherence inherent in classic approaches to audiovisual synthesis. The different synthesis steps are similar to typical concatenative speech synthesis but are generalized to the acoustic-visual domain. The bimodal synthesis was evaluated using perceptual and subjective evaluations. The overall outcome of the evaluation indicates that the proposed bimodal acoustic-visual synthesis technique provides intelligible speech in both acoustic and visual channels.
Fichier principal
Vignette du fichier
1687-4722-2013-16.pdf (1.99 Mo) Télécharger le fichier
1687-4722-2013-16-S1.MPG (3.06 Mo) Télécharger le fichier
1687-4722-2013-16-S2.MPG (4.92 Mo) Télécharger le fichier
1687-4722-2013-16-S3.MPG (992 Ko) Télécharger le fichier
1687-4722-2013-16-S4.MPG (1.59 Mo) Télécharger le fichier
1687-4722-2013-16-S5.MPG (2.59 Mo) Télécharger le fichier
1687-4722-2013-16-S6.MPG (516 Ko) Télécharger le fichier
1687-4722-2013-16.xml (101.43 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Format : Autre
Format : Autre
Format : Autre
Format : Autre
Format : Autre
Format : Autre
Format : Autre
Loading...

Dates et versions

hal-00841488 , version 1 (04-07-2013)

Identifiants

  • HAL Id : hal-00841488 , version 1

Citer

Slim Ouni, Vincent Colotte, Utpala Musti, Asterios Toutios, Brigitte Wrobel-Dautcourt, et al.. Acoustic-visual synthesis technique using bimodal unit-selection. 2013 (1), pp.16, 2013. ⟨hal-00841488⟩
93 Consultations
57 Téléchargements

Partager

Gmail Facebook X LinkedIn More