Cet article se place dans le cadre de dialogues entre un humain et un Agent Conversationnel Animé (ACA). Nous discutons ici de la nécessité de mettre en place un langage spécifique aux interactions entre l'homme et l'ACA, et du rôle central que jouent les émotions au sein de ces interactions. Dans ce but, nous proposons une bibliothèque d'actes de conversations multimodaux basée sur les actes de discours et l'expression des émotions liées aux actes. Nous nous intéressons plus particulièrement aux émotions dites complexes, résultant d'un raisonnement de l'agent. Ce langage de conversation multimodal sera le moyen pour l'ACA d'exprimer son intention communicative de façon multimodale : verbale et non verbale.