半受限玻尔兹曼机

玻耳兹曼机(BM)是一个对称连接的概率神经网络,其值只能为0或1。受限玻尔兹曼机作为玻尔兹曼机的一种特殊的拓扑结构,由一个可见神经元层和一个隐神经元层组成,隐层神经元之间没有相互连接并且隐层神经元独立。受限玻尔兹曼机具有降维,分类,特征学习等应用。可以通过监督和非监督的方式来进行训练。与受限玻尔兹曼机不同的是,半受限玻尔兹曼机的可见单元构成了一个完全或部分连接的条件马尔科夫随机场,其中隐藏结点决定了可见单元的偏置。

简介

玻尔兹曼机(BM)是一个对称连接的概率神经网络,其值只能为0或1。受限玻尔兹曼机作为玻尔兹曼机的一种特殊的拓扑结构,由一个可见神经元层和一个隐神经元层组成,隐层神经元之间没有相互连接并且隐层神经元独立。受限玻尔兹曼机具有降维,分类,特征学习等应用。半受限玻尔兹曼机可以对输入样本的特征进行提取和表示,而且相比较于受限玻尔兹曼机,具有更强的表示能力,[描述来源:Osindero S, Hinton G E. Modeling image patches with a directed hierarchy of Markov random fields[C]//Advances in neural information processing systems. 2008: 1121-1128.]可以通过监督和非监督的方式来进行训练。与受限玻尔兹曼机不同的是,半受限玻尔兹曼机的可见单元构成了一个完全或部分连接的条件马尔科夫随机场,其中隐藏结点决定了可见单元的偏置。[描述来源:Salakhutdinov R R. Learning in Markov random fields using tempered transitions[C]//Advances in neural information processing systems. 2009: 1598-1606.]如图所示:

[图片来源:Salakhutdinov R R. Learning in Markov random fields using tempered transitions[C]//Advances in neural information processing systems. 2009: 1598-1606.]

SRBM的能量函数如下:

其中$v_i$,$h_j$是可见单元$i$和隐藏单元$j$的二进制状态,$b_i$和$b_j$是偏置,$w_ij$是节点之间的权重对隐藏层连接的权重更新规则如下所示:

其中,$/delta$是学习率,$<v_i,v_j>_{data}$是当隐藏单元被数据驱动时,可见单元$i$和隐藏单元$j$一起出现的时间比例。

发展历史

描述

玻尔兹曼机的原理起源于统计物理学,是一种基于能量函数的建模方法,能够描述变量之间的高阶相互作用。1985和1986两年间,Hinton和Paul Smolensky几乎同时地提出了玻尔兹曼机的概念,作为基于隐变量来模拟输入分布的生成模型,它在近些年被广泛应用。在2005年和2006年期间,Welling和Hinton对受限玻尔兹曼机进行了改进,将其分布由二值输入扩展为各种分布的输入,这为玻尔兹曼机的进一步应用进行了扩展。2008年,Hinton在受限玻尔兹曼机的基础上提出了半受限玻尔兹曼机。这种方法可以进行贪心学习,并组成一个条件马尔科夫随机场的定向层次结构。

主要事件

年份

事件

相关论文/Reference

1985-1986

Hinton和Paul Smolensky几乎同时地提出了受限玻尔兹曼机的概念。

Ackley, D., Hinton, G.E. & Sejnowski, T. (1985). A Learning Algorithm for Boltzmann Machines. Cognitive Science, 9, 147–169;Smolensky P. Information processing in dynamical systems: Foundations of harmony theory[R]. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986.

2005-2006

受限玻尔兹曼机的输入由二值输入扩展为各种分布的输入。

Welling M, Rosen-Zvi M, Hinton G E. Exponential family harmoniums with an application to information retrieval[C]//Advances in neural information processing systems. 2005: 1481-1488;Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[C]//Advances in neural information processing systems. 2007: 1345-1352.

2008

Hinton等人提出了半受限玻尔兹曼机

Osindero, S., & Hinton, G. E. (2008). Modeling image patches with a directed hierarchy of Markov random fields. In Advances in neural information processing systems (pp. 1121-1128).

发展分析

瓶颈

对于高维的训练数据来说,如果半受限玻尔兹曼机的每一对可见单元都有连接,那么就要网络中就包含太多的参数,在训练过程中对数据的依赖会很强,当数据量不足的情况下参数不容易收敛。

未来发展方向

半受限玻尔兹曼机在构建深度信念网的时候具有有利条件,而且输入单元之间的连接在进行统计的时候可以很好的捕捉到理想的特征,这在以后具有很好的应用价值。[描述来源:Osindero S, Hinton G E. Modeling image patches with a directed hierarchy of Markov random fields[C]//Advances in neural information processing systems. 2008: 1121-1128.]

Contributor: Yilin Pan

相关人物
Simon Osindero
Simon Osindero
Paul Smolensky
Paul Smolensky
拉斯 · 萨拉克赫迪诺弗
拉斯 · 萨拉克赫迪诺弗
CMU 机器学习教授,苹果人工智能研究负责人。Ruslan Salakhutdinov 于 2009 年从多伦多大学获得机器学习(计算机科学)博士学位,之后在 MIT 人工智能实验室渡过了两年博士后生涯,后来加入了多伦多大学计算机科学与统计部做助理教授。2016 年 1 月,CMU 宣布邀请 Russ Salakhutdinov 作为机器学习部门的副教授。他的主要研究兴趣包括人工智能、机器学习、深度学习、大规模优化。
杰弗里·辛顿
杰弗里·辛顿
杰弗里·埃弗里斯特·辛顿 FRS(英语:Geoffrey Everest Hinton)(1947年12月6日-)是一位英国出生的加拿大计算机学家和心理学家,以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者。
简介
相关人物