Embedding 新框架模型:Exponential Family Embeddings

是不是被各种Embedding模型弄得眼花缭乱啊?这篇论文统一了很多类似模型,提供了一个简单框架。论文可下载。

微信截图_20161113173327.png

这篇文章来自David Blei的实验室。文章的核心思想非常直观,那就是如何把Word2Vec的思想能够给Generalize到其他应用场景,提供一个比较通用的模型框架。在这个新的框架下,其他的很多类似模型都能够归纳成为这个新框架的特殊形式。


新的框架模型叫做Exponential Family Embedding(EF-EMB)。其中包含三个要素:

  • A Context Function

  • A Conditional Exponential Family

  • An Embedding Structure

首先,Context Function是定义如何把当前的数据点(Data Point)和一个Context里面的其他数据点联系起来。这是一个建模的选择。比如,对于Language Data来说,这个Context可以就是周围的字;而对于Neural Data来说,这个Context则可以是周围的Neuron;对于Shopping Data来说,这个Context则可能就是购物车里的其他商品。


其次,Conditional Exponential Family定义一个合适的Distribution,来解释数据的产生过程。比如,对于Language Modeling来说,这个分布就是Categorical Distribution;而对于Real-Valued数据来说,则就是Gaussian Distribution。另外,在这个Conditional Exponential Family的定义里,每一个Data Point有两种Embeddings:一种叫做Embedding Vector;另一种叫做Context Vector。通俗得讲,也就是每个数据点分解成为了Embedding Vector和一组Context Vector(这个被上面的Context Function所定义)的乘积形式。


第三个要素Embedding Structure定义在建模中,Embeddings是如何被共享(Shared)的。比如,对于Language Data来说,每一个词只有唯一的Embedding Vector和唯一的Context Vector。还有其他的一些Setting里,这两者也可以是相同的。


在定义了之前的这些结构以后,Objective Function则是Log Conditional Probability的加和,外加Log定义的Regularizer。


文章讨论了好几个模型的例子,这里就不复述了。总之,现有的一些Embedding模型都很容易在这个框架下被重现。


模型的Inference则采用了SGD。文章里还讨论了在SGD的情况下,如何得到类似于Negative Sampling的结果。同时,文章后面有详细的模型讨论。


总之,这篇文章很值得细看一下。一方面也是因为这里面统一了很多关于Embedding模型的讨论;另一方面,从软件工程角度来说,也许也能够设计和实现一个类型的模型框架。  


文章地址:NIPS 2016

理论论文NIPS 2016NIPS词嵌入理论
返回顶部