Prédiction du mouvement des lèvres à partir d'un signal de parole pour l'animation d'un avatar

Nathan Souviraà-Labastie 1
1 METISS - Speech and sound data modeling and processing
IRISA - Institut de Recherche en Informatique et Systèmes Aléatoires, Inria Rennes – Bretagne Atlantique
Résumé : La synchronisation labiale permet la mise en phase d'un son avec des mouvements de lèvres. Les applications vont de l'animation de personnages virtuels au playback, en passant par le doublage. Malgré ces utilisations courantes et naturelles dans l'industrie du spectacle, ce domaine reste un vrai défi scientifique. L'objet de ce rapport est de faire une première étude sur les capacités des réseaux de neurones à mettre en correspondance les caractéristiques audio et la position des lèvres en temps réel. Le but est de fournir un système plus réactif que le précédent, qui était basé sur des modèles de Markov cachés (HMM). Il s'attachera à reconnaître des unités acoustiques comme les phonèmes ou les visèmes. Les techniques de reconnaissance de la parole, généralement off-line, exploitent largement les informations contextuelles. Notre système devant fonctionner de façon on-line, nous proposerons des solutions pour palier à cette absence d'information. L'approche utilisée sera comparée à l'état de l'art de la reconnaissance de parole, et aux approches d'animation labiale existantes.
Liste complète des métadonnées

https://hal.inria.fr/inria-00628856
Contributeur : Nathan Souviraà-Labastie <>
Soumis le : mardi 4 octobre 2011 - 13:25:45
Dernière modification le : jeudi 11 janvier 2018 - 06:20:09

Identifiants

  • HAL Id : inria-00628856, version 1

Collections

Citation

Nathan Souviraà-Labastie. Prédiction du mouvement des lèvres à partir d'un signal de parole pour l'animation d'un avatar. Son [cs.SD]. 2011. 〈inria-00628856〉

Partager

Métriques

Consultations de la notice

162