Rethinking LDA: Moment Matching for Discrete ICA

Anastasia Podosinnikova 1, 2, 3 Francis Bach 2, 3, 1 Simon Lacoste-Julien 2, 3, 1
3 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, Inria Paris-Rocquencourt, CNRS - Centre National de la Recherche Scientifique : UMR8548
Abstract : We consider moment matching techniques for estimation in latent Dirichlet allocation (LDA). By drawing explicit links between LDA and discrete versions of independent component analysis (ICA), we first derive a new set of cumulant-based tensors, with an improved sample complexity. Moreover, we reuse standard ICA techniques such as joint diagonalization of tensors to improve over existing methods based on the tensor power method. In an extensive set of experiments on both synthetic and real datasets, we show that our new combination of tensors and orthogonal joint diagonalization techniques outperforms existing moment matching methods.
Type de document :
Communication dans un congrès
NIPS 2015 - Advances in Neural Information Processing Systems 28, Dec 2015, Montreal, Canada
Liste complète des métadonnées

Littérature citée [28 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01225271
Contributeur : Anastasia Podosinnikova <>
Soumis le : vendredi 6 novembre 2015 - 12:03:19
Dernière modification le : vendredi 25 mai 2018 - 12:02:06
Document(s) archivé(s) le : lundi 8 février 2016 - 12:49:45

Fichier

lda.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01225271, version 1
  • ARXIV : 1507.01784

Collections

Citation

Anastasia Podosinnikova, Francis Bach, Simon Lacoste-Julien. Rethinking LDA: Moment Matching for Discrete ICA. NIPS 2015 - Advances in Neural Information Processing Systems 28, Dec 2015, Montreal, Canada. 〈hal-01225271〉

Partager

Métriques

Consultations de la notice

488

Téléchargements de fichiers

127