受限玻尔兹曼机

受限玻尔兹曼机(英语:restricted Boltzmann machine, RBM)是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者保罗·斯模棱斯基于1986年命名为簧风琴(Harmonium),但直到杰弗里·辛顿及其合作者在2000年代中叶发明快速学习算法后,受限玻兹曼机才变得知名。受限玻兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同,受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。受限玻兹曼机也可被用于深度学习网络。具体地,深度信念网络可使用多个RBM堆叠而成,并可使用梯度下降法和反向传播算法进行调优。

来源:维基百科
简介

受限玻尔兹曼机(RBM)是一种双层神经网络,是一种用于降维,分类,回归,协同过滤,特征学习和主题建模的算法。RBM两层之间的神经元完全连接,但同一层的神经元之间互不相连,这就是受限玻尔兹曼机名称中“受限”一词的来源。

它可以对二元向量(例如图像)的集合进行建模,模型中随机的二进制像素通过对称的加权连接连接到随机的二进制特征检测器(feature detectors)。像素对应于RBM的“可见”单位,因为它们的状态是可以被观察到的; 特征检测器对应于“隐藏”单元。可见单元v和隐藏单元h的能量函数E(v,h)可以表示为:

其中v_{i}和h_{j}是像素i和特征j的二进制状态,b_{i}和b_{j}是对应的偏置(bias),w_{ij}是权重。神经网络通过这个能量函数为每个可能的输出图像分配一个概率。

给定训练图像,每个特征检测器j的二进制状态h_{j}有σ(bj +Σiviwij)的概率被设置为1,其中σ(x)是逻辑函数1 / [1 + exp(-x)],b_{j}是j的偏置,v_{i}是像素i的状态,w_{ij}是i和j之间的权重。一旦为隐藏单元选择了二进制状态(0或1),再根据公式p(v_{i}|h)=σ(b_{i} +\sum_{j}h_{j}w_{ij})更新隐藏单元的状态。

RBM的结构如下图所示:

[图片来源:A Beginner’s Tutorial for Restricted Boltzmann Machines]

[描述来源:Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. 313 (5786): 504–507. ]

发展历史

RBM最初应当是在1986年由Paul Smolensky以Harmonium的名义发明的,在Hinton和Salakhutdinov在2006提出了RBM的快速学习算法之后,RBM得到了突出的发展。

2008年Hugo Larochelle和Yoshua Bengio认为RBM为非线性分类器提供了一个独立的框架,他们展示了如何在半监督环境下成功地应用RBM。2011年Andrew Ng等学者将RBM应用于无监督特征学习(feature learning),其算法实现简单,并在CIFAR-10和NORB数据集取得了当时最高的准确性(分别为79.6%和97.2%)。


A

B

C

1

年份

事件

相关论文/Reference

2

1986

Paul Smolensky以Harmonium的名义发明了RBM

Smolensky, P. (1986).Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory. In Rumelhart, David E.; McLelland, James L.Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. pp. 194–281.

3

2006

Hinton和Salakhutdinov提出了RBM的快速学习算法

Hinton, G. E.; Salakhutdinov, R. R. (2006).Reducing the Dimensionality of Data with Neural Networks.Science. 313 (5786): 504–507.

4

2008

Hugo Larochelle和Yoshua Bengio将RBM用于分类任务

Larochelle, H.; Bengio, Y. (2008). Classification using discriminative restricted Boltzmann machines. Proceedings of the 25th international conference on Machine learning - ICML '08. p. 536.

5

2011

Andrew Ng等学者将RBM应用于无监督特征学习(feature learning)

Coates, A.; Lee, H.; Ng, A. Y. (2011). An analysis of single-layer networks in unsupervised feature learning. International Conference on Artificial Intelligence and Statistics (AISTATS).

发展分析

瓶颈

由于RBM的常用算法Contrastive Divergence算法需要从蒙特卡洛马尔可夫链中抽样,RBM训练很困难;另外,从RBM的能量函数很难计算对数似然(log likelihood)。

未来发展方向

受限玻尔兹曼机是一个生成模型,使用隐变量来描述输入数据的分布,具有能够处理缺失/不规则数据的优点;另外,受限玻尔兹曼机也是一个无监督模型,不需要数据的标签信息,这在目前的研究中是一个优势。

相关人物
Paul Smolensky
Paul Smolensky
简介
相关人物