深度置信(信念)网络

深度置信网络由多层受限玻尔兹曼机(Restricted Boltzmann Machien)和一层反向传递(Back Propagation, BP)神经网络构成,其本质是一种特殊构造的神经网络。如图1所示,深度置信网络是一种由多层受限玻尔兹曼机组合而成的网络模型,低层受限玻尔兹曼机的输出,作为上一层受限玻尔兹曼机的输入,将最后一层受限玻尔兹曼机网络的输出信息作为BP神经网络的输入数据。不同于深度玻尔兹曼机(Deep Boltzmann Machine,详见词条“深度波尔兹曼机”),深度置信网络的中间层与相邻层是单向连接的。

简介

深度置信网络由多层受限玻尔兹曼机(Restricted Boltzmann Machien)和一层反向传递(Back Propagation, BP)神经网络构成,其本质是一种特殊构造的神经网络。如图1所示,深度置信网络是一种由多层受限玻尔兹曼机组合而成的网络模型,低层受限玻尔兹曼机的输出,作为上一层受限玻尔兹曼机的输入,将最后一层受限玻尔兹曼机网络的输出信息作为BP神经网络的输入数据。不同于深度玻尔兹曼机(Deep Boltzmann Machine,详见词条“深度波尔兹曼机”),深度置信网络的中间层与相邻层是单向连接的。

1一个三层深度置信网络

深度置信网络的训练过程大致分为两步:

①读入数据文件,训练每一层受限玻尔兹曼机,将第一隐层(hidden layer)输出作为可见层(visible layer)的输入,再将可见层的输出作为下一隐层输入逐层进行训练,每一层单独训练可使特征向量能更多的保留特征信息在不同的特征空间(feature space)中。

②最后一层设置反向传递(BP)神经网络,接收受限玻尔兹曼机的输出作为BP网络的输入,通过自顶向下进行神经网络参数的更新,调整整个深度置信网络,使整个深度置信网络的准确率达到最优。

深度置信网络解决了传统反向传递(BP)算法训练多层神经网络的难题:①需要大量含标签训练样本集;②较慢的收敛速度;③因不合适的参数选择陷入局部最优。

[描述来源:Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural computation, 18(7), 1527-1554.

URL:https://www.mitpressjournals.org/doi/abs/10.1162/neco.2006.18.7.1527]

发展历史

2006年,Hinton和他的学生提出了深度置信网络的思想。与传统区分型神经网络不同,深度置信网络可获取观测数据和标签的联合概率分布,这方便了先验概率和后验概率的估计,而区分型模型仅能对后验概率进行估计。深度置信网络解决了传统反向传递(BP)算法训练多层神经网络的难题:①需要大量含标签训练样 本集;②较慢的收敛速度;③因不合适的参数选择陷入局部最优。

2009年,Pham等人用频谱图训练深度置信网络,并将深度置信网络应用到一些音频分类任务中。

2010年,Mohamed等人提出用连续判别训练准则来优化深度置信网络的权值、状态变换参数及语言模型分数,描述并分析了提出的训练算法和策略,并讨论该算法如何影响学习结果,说明基于序列训练准则学习的深度置信网络的性能优于基于框架准则的深度置信网络,但是与此同时产生的优化过程更加困难。

2011年,Mohamed等人用梅尔频率倒谱系数和梅尔刻度滤波器训练深度置信网络产生高层受限玻尔兹曼机特征,用这个特征能够预测隐马尔科夫模型(Hidden Markov Models, HMMs)状态上的后验分布(Posterior Distribution),用反向传递方法更新后,在TIMIT数据集上识别与说话者无关的音素得到的性能优于其他方法。

同年,Dahl等人提出一种依赖语境的“深度置信网络-隐马尔科夫模型(DBN-HMM)”,在来自Bing移动语音搜索任务的具有大型词汇的任意语音识别数据集上进行试验,得到的结果性能明显优于“高斯混合-隐马尔科夫模型(GMM-HMM)”。

主要事件

年份

事件

相关论文

2006

Hinton和他的学生提出了深度置信网络的思想

Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural computation, 18(7), 1527-1554.

2009

Pham等人用频谱图训练深度置信网络

Lee, H., Pham, P., Largman, Y., & Ng, A. Y. (2009). Unsupervised feature learning for audio classification using convolutional deep belief networks. In Advances in neural information processing systems (pp. 1096-1104).

2010

Mohamed等人提出用连续判别训练准则来优化深度置信网络

Mohamed, A. R., Yu, D., & Deng, L. (2010). Investigation of full-sequence training of deep belief networks for speech recognition. In Eleventh Annual Conference of the International Speech Communication Association.

2011

Mohamed等人用梅尔频率倒谱系数和梅尔刻度滤波器训练深度置信网络

Mohamed, A. R., Sainath, T. N., Dahl, G., Ramabhadran, B., Hinton, G. E., & Picheny, M. A. (2011, May). Deep belief networks using discriminative features for phone recognition. In Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on (pp. 5060-5063). IEEE.

2011

Dahl等人提出一种依赖语境的“深度置信网络-隐马尔科夫模型(DBN-HMM)”

Dahl, G. E., Yu, D., Deng, L., & Acero, A. (2011, May). Large vocabulary continuous speech recognition with context-dependent DBN-HMMs. In Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on(pp. 4688-4691). IEEE.

发展分析

瓶颈

深度置信网络是拥有深层架构的前馈神经网络,由多个受限玻尔兹曼机堆叠而成,其中包含多个隐含层,而使用深度置信网络的障碍在于如何训练这样的深层网络。

未来发展方向

针对上述问题,学者和研究人员不断尝试新的算法去训练基于受限玻尔兹曼机的深度置信网络,目前比较热门的研究方向是借鉴其他领域的思想,将现有的社会网络、基因调控网络以及压缩传感等理论运用于深度置信网络中。

Contributor:Keyu Qi

相关人物
Yee-Whye Teh
Yee-Whye Teh
牛津大学统计系统计机器学习教授,主要研究兴趣是机器学习。他是深度信仰网络和等级Dirichlet过程的最初开发者之一。
杰弗里·辛顿
杰弗里·辛顿
杰弗里·埃弗里斯特·辛顿 FRS(英语:Geoffrey Everest Hinton)(1947年12月6日-)是一位英国出生的加拿大计算机学家和心理学家,以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者。
Simon Osindero
Simon Osindero
简介
相关人物