前馈神经网络

前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部,参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同,在它内部不会构成有向环。FNN由一个输入层、一个(浅层网络)或多个(深层网络,因此叫作深度学习)隐藏层,和一个输出层构成。每个层(除输出层以外)与下一层连接。这种连接是 FNN 架构的关键,具有两个主要特征:加权平均值和激活函数。

来源:机器之心
简介

前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部,参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同,在它内部不会构成有向环。下图为一个简单前馈神经网络示意图:

FNN由一个输入层、一个(浅层网络)或多个(深层网络,因此叫作深度学习)隐藏层,和一个输出层构成。每个层(除输出层以外)与下一层连接。这种连接是 FNN 架构的关键,具有两个主要特征:加权平均值和激活函数。

分类:

1.(单层)感知器

只有一个单层的神经元网络,被视为一种最简单形式的前馈神经网络,是一种二元线性分类器。

2.多层感知器

是一种前向结构的人工神经网络,可以被看作是一个有向图,由多个的节点层所组成,每一层都全连接到下一层。除了输入节点,每个节点都是一个带有非线性激活函数的神经元(或称处理单元),是单层感知器的推广,克服了感知器不能对线性不可分数据进行识别的弱点。

其中,卷积神经网络(CNN)是一种典型的深度前馈神经网络,对于大规模图像处理有出色表现。

[描述来源:维基百科;URL:https://zh.wikipedia.org/wiki/%E5%89%8D%E9%A6%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C]

[描述来源:机器之心;URL:https://www.jiqizhixin.com/articles/2017-09-07-9]

发展历史

描述

前馈神经网络的早期形式为单层感知器(Perceptron),是Frank Rosenblatt在1957年就职于Cornell航空实验室(Cornell Aeronautical Laboratory)时所发明的一种人工神经网络。后来,在单层感知器基础上发展起了多层感知器(MLP),反向传播算法常被MLP用来进行学习,在模式识别的领域中算是标准监督学习算法,并在计算神经学及并行分布式处理领域中,持续成为被研究的课题。MLP已被证明是一种通用的函数近似方法,可以被用来拟合复杂的函数,或解决分类问题。MLP在80年代曾是相当流行的机器学习方法,拥有广泛的应用场景,譬如语音识别、图像识别、机器翻译等等,但自90年代以来,MLP遇到来自更为简单的支持向量机的强劲竞争。近来,由于深度学习的成功,MLP又重新得到了关注。其中,卷积神经网络相比较其他深度、前馈神经网路,需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。

主要事件

年份事件相关论文/Reference
1957Frank Rosenblatt 提出「感知器」,可以被视为一种最简单形式的前馈神经网络Rosenblatt, F. (1957). The perceptron, a perceiving and recognizing automaton Project Para. Cornell Aeronautical Laboratory.
1986Rumelhart等人提出了多层前馈网络的误差反向传播(Error Back Propagation) 学习算法Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. nature, 323(6088), 533.
1989详细论述了多层前馈网络作为通用近似器的可行性Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer feedforward networks are universal approximators. Neural networks, 2(5), 359-366.
1990神经网络技术(CNN)开始被用于手写识别LeCun, Y., Boser, B. E., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W. E., & Jackel, L. D. (1990). Handwritten digit recognition with a back-propagation network. In Advances in neural information processing systems (pp. 396-404).
2010阐述了深度前馈网络训练中需要解决的问题Glorot, X., & Bengio, Y. (2010, March). Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (pp. 249-256).

发展分析

瓶颈

-应用领域有限,在序列数据以及时序数据上表现不如递归神经网络,因此有的应用场景需要采用递归神经网络结构来实现

-计算成本仍然比较高

-可解释性问题

未来发展方向

-对深度前馈神经网络的研究仍在不断推进,通过改进算法,优化参数等来进一步提高前馈网络的准确度和计算速度。

-深度前馈网络的可视化和可解释性方面的研究力度也在加大

Contributor: Yueqin Li

相关人物
弗兰克·罗森布拉特
弗兰克·罗森布拉特
简介
相关人物