隐含狄利克雷分布

隐含狄利克雷分布简称LDA(Latent Dirichlet allocation),是一种主题模型,它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。LDA首先由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出,目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

来源:维基百科
简介

Latent Dirichlet Allocation(文档主题生成模型简称LDA),又名潜在狄利克雷分布,是非监督机器学习技术,用于识别文档集中潜在的主题词信息。它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。它也可以被称为一个三层贝叶斯概率模型,其中包含词,主题和文档。它的中心思想是一篇文章的每个词都是通过一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语。它的特点是文档到主题服从多项式分布,主题到词服从多项式分布。

LDA是一种典型的词袋模型,即它认为一篇文档是由一组词构成的一个集合,词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题,文档中每一个词都由其中的一个主题生成。

另外,正如Beta分布是二项式分布的共轭先验概率分布,狄利克雷分布作为多项式分布的共轭先验概率分布。因此正如LDA贝叶斯网络结构中所描述的,在LDA模型中一篇文档生成的方式如下:

  • 从狄利克雷分布中取样生成文档i的主题分布
  • 从主题的多项式分布中取样生成文档i第j个词的主题
  • 从狄利克雷分布中取样生成主题的词语分布
  • 从词语的多项式分布中采样最终生成词语

因此整个模型中所有可见变量以及隐藏变量的联合分布是

p(w_i,z_i,\theta_i,\Phi \mid\alpha,\beta) = \coprod_{N}^{j=1}p(\theta_i\mid\alpha)p(z_{i,j}\mid\theta_i)p(\Phi\mid\beta)p(w_{i,j}\mid\theta_{z_{i,j}})

p(w_i\mid\alpha,\beta)=\int_{\theta_i}\int_{\Phi}\sum_{z_i}p(w_i,z_i,\theta_i,\Phi\mid\alpha,\beta)

根据的最大似然估计,最终可以通过吉布斯采样等方法估计出模型中的参数。

以上资料来自维基百科:https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation

发展历史

Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引。1999年,Thomas Hofmann又在此基础上,提出了概率性潜在语义索引(Probabilistic Latent Semantic Indexing,简称PLSI)。2003年,David M. Blei,Andrew Y. Ng与Michael I. Jordan提出文档主题生成模型(LDA)。隐含狄利克雷分配可能是最常见的主题模型,是一般化的PLSI,由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出。LDA允许文档拥有多种主题。其它主题模型一般是在LDA基础上改进的。例如HLDA(Hierarchical Latent Dirichlet Allocation)模型,它试图建立主题之间的关系。

Labeled LDA (Labeled Latent Dirichlet Allocation) 能够训练出带标签的主题,Labeled LDA与LDA最大的不同是: LDA是在所有topics上为某一个词进行选择某个topic,而labeled LDA则是只从文档相关的label对应的topic中去选择,其余和LDA都是一样的。

LLDA (hierarchical Labeled Latent Dirichlet Allocation)模型的好处就是在Labeled Latent Dirichlet Allocation模型的基础上扩展到层次结构,其思想也是很简单的,认为一个文档只是由这个文档对应的层次label所产生。

LDA的应用十分广泛,通常会被应用在推荐系统,邮件分类,关键词提取等等。

主要事件

年份事件相关论文/Reference
1998Papadimitriou、Raghavan、Tamaki和Vempala与1998年提出了潜在语义索引的概念Papadimitriou, C. H., Raghavan, P., Tamaki, H., & Vempala, S. (2000). Latent semantic indexing: A probabilistic analysis. Journal of Computer and System Sciences, 61(2), 217-235.
1999Thomas Hofmann 在潜在语义索引的基础上提出了概率性潜在语义索引Hofmann, T. (2017, August). Probabilistic latent semantic indexing. In ACM SIGIR Forum (Vol. 51, No. 2, pp. 211-218). ACM.
2003Blei, David M.、吴恩达和Jordan, Michael I提出LDA  Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of machine Learning research, 3(Jan), 993-1022.  
2004  David M. Blei,  Thomas L. Griffiths  ,  Michael I. Jordan,Joshua B. Tenenbaum  提出HLDA,试图建立主题之间的关系。Griffiths, T. L., Jordan, M. I., Tenenbaum, J. B., & Blei, D. M. (2004). Hierarchical topic models and the nested chinese restaurant process. In Advances in neural information processing systems (pp. 17-24).
2009Daniel Ramage, David Hall, Ramesh Nallapati and Christopher D. Manning提出Labeled LDA,它能狗训练出带标签的主题。  Ramage, D., Hall, D., Nallapati, R., & Manning, C. D. (2009, August). Labeled LDA: A supervised topic model for credit attribution in multi-labeled corpora. In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 1-Volume 1 (pp. 248-256). Association for Computational Linguistics.  
2011Adler Perotte Nicholas Bartlett Noemie Elhadad Frank Wood提出LLDAPerotte, A. J., Wood, F., Elhadad, N., & Bartlett, N. (2011). Hierarchically supervised latent Dirichlet allocation. In Advances in Neural Information Processing Systems (pp. 2609-2617).

发展分析

瓶颈

对于LDA这种潜在的一元文本模型,最主要的缺点是它不考虑在文本中一系列单词的位置,例如“Man, I love this can” and “I can love this man” 在建模的时候可能会表达同样的意思。而且,对于长文本来说,匹配主题会变得困难。另外一个需要解决的问题是LDA中主题的组成,主题会出现重贴的现象。这就导致了产生的主题们不是独立的。

未来发展方向

文本自动生成技术可以应用于智能问答与对话、机器翻译等系统,实现更加智能和自然的人机交互;我们也可以通过文本自动生成系统替代编辑实现新闻的自动撰写与发布,最终将有可能颠覆新闻出版行业。

Contributor: Zhixiang Chi

相关人物
吴恩达
吴恩达
斯坦福大学教授,人工智能著名学者,机器学习教育者。2011年,吴恩达在谷歌创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度,负责“百度大脑”计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司Landing.ai,并担任公司的首席执行官。2018年1月,吴恩达成立了投资机构AI Fund。
简介
相关人物