受限玻尔兹曼机

受限玻尔兹曼机(英语:restricted Boltzmann machine, RBM)是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者保罗·斯模棱斯基于1986年命名为簧风琴(Harmonium),但直到杰弗里·辛顿及其合作者在2000年代中叶发明快速学习算法后,受限玻兹曼机才变得知名。受限玻兹曼机在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同,受限玻兹曼机可以使用监督学习或无监督学习的方法进行训练。受限玻兹曼机也可被用于深度学习网络。具体地,深度信念网络可使用多个RBM堆叠而成,并可使用梯度下降法和反向传播算法进行调优。

来源:维基百科
简介

受限玻尔兹曼机(RBM)是一种双层神经网络,是一种用于降维,分类,回归,协同过滤,特征学习和主题建模的算法。RBM两层之间的神经元完全连接,但同一层的神经元之间互不相连,这就是受限玻尔兹曼机名称中“受限”一词的来源。

它可以对二元向量(例如图像)的集合进行建模,模型中随机的二进制像素通过对称的加权连接连接到随机的二进制特征检测器(feature detectors)。像素对应于RBM的“可见”单位,因为它们的状态是可以被观察到的; 特征检测器对应于“隐藏”单元。可见单元v和隐藏单元h的能量函数E(v,h)可以表示为:

其中v_{i}和h_{j}是像素i和特征j的二进制状态,b_{i}和b_{j}是对应的偏置(bias),w_{ij}是权重。神经网络通过这个能量函数为每个可能的输出图像分配一个概率。

给定训练图像,每个特征检测器j的二进制状态h_{j}有σ(bj +Σiviwij)的概率被设置为1,其中σ(x)是逻辑函数1 / [1 + exp(-x)],b_{j}是j的偏置,v_{i}是像素i的状态,w_{ij}是i和j之间的权重。一旦为隐藏单元选择了二进制状态(0或1),再根据公式p(v_{i}|h)=σ(b_{i} +\sum_{j}h_{j}w_{ij})更新隐藏单元的状态。

RBM的结构如下图所示:

[图片来源:A Beginner’s Tutorial for Restricted Boltzmann Machines]

[描述来源:Hinton, G. E.; Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science. 313 (5786): 504–507. ]

发展历史

RBM最初应当是在1986年由Paul Smolensky以Harmonium的名义发明的,在Hinton和Salakhutdinov在2006提出了RBM的快速学习算法之后,RBM得到了突出的发展。

2008年Hugo Larochelle和Yoshua Bengio认为RBM为非线性分类器提供了一个独立的框架,他们展示了如何在半监督环境下成功地应用RBM。2011年Andrew Ng等学者将RBM应用于无监督特征学习(feature learning),其算法实现简单,并在CIFAR-10和NORB数据集取得了当时最高的准确性(分别为79.6%和97.2%)。


A

B

C

1

年份

事件

相关论文/Reference

2

1986

Paul Smolensky以Harmonium的名义发明了RBM

Smolensky, P. (1986).Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory. In Rumelhart, David E.; McLelland, James L.Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations. MIT Press. pp. 194–281.

3

2006

Hinton和Salakhutdinov提出了RBM的快速学习算法

Hinton, G. E.; Salakhutdinov, R. R. (2006).Reducing the Dimensionality of Data with Neural Networks.Science. 313 (5786): 504–507.

4

2008

Hugo Larochelle和Yoshua Bengio将RBM用于分类任务

Larochelle, H.; Bengio, Y. (2008). Classification using discriminative restricted Boltzmann machines. Proceedings of the 25th international conference on Machine learning - ICML '08. p. 536.

5

2011

Andrew Ng等学者将RBM应用于无监督特征学习(feature learning)

Coates, A.; Lee, H.; Ng, A. Y. (2011). An analysis of single-layer networks in unsupervised feature learning. International Conference on Artificial Intelligence and Statistics (AISTATS).

发展分析

瓶颈

由于RBM的常用算法Contrastive Divergence算法需要从蒙特卡洛马尔可夫链中抽样,RBM训练很困难;另外,从RBM的能量函数很难计算对数似然(log likelihood)。

未来发展方向

受限玻尔兹曼机是一个生成模型,使用隐变量来描述输入数据的分布,具有能够处理缺失/不规则数据的优点;另外,受限玻尔兹曼机也是一个无监督模型,不需要数据的标签信息,这在目前的研究中是一个优势。

相关人物
拉斯 · 萨拉克赫迪诺弗
拉斯 · 萨拉克赫迪诺弗
CMU 机器学习教授,苹果人工智能研究负责人。Ruslan Salakhutdinov 于 2009 年从多伦多大学获得机器学习(计算机科学)博士学位,之后在 MIT 人工智能实验室渡过了两年博士后生涯,后来加入了多伦多大学计算机科学与统计部做助理教授。2016 年 1 月,CMU 宣布邀请 Russ Salakhutdinov 作为机器学习部门的副教授。他的主要研究兴趣包括人工智能、机器学习、深度学习、大规模优化。
Paul Smolensky
Paul Smolensky
杰弗里·辛顿
杰弗里·辛顿
杰弗里·埃弗里斯特·辛顿 FRS(英语:Geoffrey Everest Hinton)(1947年12月6日-)是一位英国出生的加拿大计算机学家和心理学家,以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者。
吴恩达
吴恩达
斯坦福大学教授,人工智能著名学者,机器学习教育者。2011年,吴恩达在谷歌创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络。2014年5月16日,吴恩达加入百度,负责“百度大脑”计划,并担任百度公司首席科学家。2017年3月20日,吴恩达宣布从百度辞职。2017年12月,吴恩达宣布成立人工智能公司Landing.ai,并担任公司的首席执行官。2018年1月,吴恩达成立了投资机构AI Fund。
约书亚·本吉奥
约书亚·本吉奥
约书亚·本希奥(法语:Yoshua Bengio,1964年-)是一位加拿大计算机科学家,因人工神经网络和深度学习领域的研究而闻名。Yoshua Bengio于1991年获得加拿大麦吉尔大学计算机科学博士学位。经过两个博士后博士后,他成为蒙特利尔大学计算机科学与运算研究系教授。他是2本书和超过200篇出版物的作者,在深度学习,复现神经网络,概率学习算法,自然语言处理和多元学习领域的研究被广泛引用。他是加拿大最受欢迎的计算机科学家之一,也是或曾经是机器学习和神经网络中顶尖期刊的副主编。
简介
相关人物