机器之心原创

2021/10/14 14:15

真 · 神经网络发明人福岛邦彦获奖，Schmidhuber、李飞飞点赞

1980 年，福岛邦彦首次使用卷积神经网络实现了模式识别，他被认为是真正的卷积神经网络发明者。

近日，福岛邦彦（Kunihiko Fukushima）获得 2021 年度鲍尔奖「Bower Award and Prize for Achievement in Science」的消息在学界引来关注。

获奖理由：通过发明第一个深度卷积神经网络「Neocognitron」将神经科学原理应用于工程的开创性研究，这是对人工智能发展的关键贡献。

鲍尔奖是美国奖金额度最高的科技奖，由富兰克林基金会颁发，每人可获得 25 万美元及金质奖章。该奖项在 1994 年曾颁发给杨振宁。在获奖后，福岛邦彦跻身一众著名科学家和诺贝尔奖获得者行列。

2021 年度的鲍尔奖结果在今年 4 月就已公布，最近引起热议的原因是——在本次富兰克林研究所鲍尔奖的颁奖典礼之际，Jürgen Schmidhuber 公开发表了一份贺词:

「毫无疑问，福岛邦彦值得鲍尔奖这份荣誉，基于他在人工神经网络方面的巨大贡献。」

这段 20 分钟左右的视频发布在 Schmidhuber 开通的个人 YouTube 频道上，事实上，该频道目前仅有这一个视频。

「在深度学习的这段历史中，每个人都在使用这种 CNN 架构的变体进行计算机视觉和其他应用研究。」

Schmidhuber 提到，第一个使用卷积和反向传播的人是 1987 年的 Alex Waibel（大约在视频的 5:20 分处）。在视频的最后，他还补充道：「我应该提到的一件事是，福岛邦彦的提名人要求我提供一份支持内容，我告诉他们自己可能存在利益冲突，因为我自己也是这个奖项的被提名者。提名人表示并不介意。」

此外 Schmidhuber 的态度也是很耐人寻味的，有人这样理解：

我不知道算是好笑还是悲伤。Schmidhuber 找到了一种被动攻击的方式，通过祝贺 / 赞扬卷积神经网络的先驱来批评他人。

不管意图如何，福岛绝对值得更多的赞誉。

斯坦福大学教授李飞飞也对福岛的获奖表示了祝贺，她说道：「对于我们这些几十年前学习计算机视觉和神经网络的人来说，福岛邦彦的 neocognitron 理论打开了对象识别神奇世界的大门。这是一个杰作！」

卷积神经网络 CNN 的奠基人

卷积神经网络的发展，最早可以追溯到 1962 年，Hubel 和 Wiesel 对猫大脑中的视觉系统的研究。

20 世纪 60 年代初，David Hubel 和 Torsten Wiesel 从约翰霍普金斯大学和 Steven Kuffler 一起来到哈佛大学，在哈佛医学院建立了神经生物学系。他们们在论文《Receptive fields, binocular interaction and functional architecture in the cat's visual cortex》中提出了 Receptive fields 的概念，因其在视觉系统中信息处理方面的杰出贡献，他们在 1981 年获得了诺贝尔生理学或医学奖。

Hubel 和 Wiesel 记录了猫脑中各个神经元的电活动。他们使用幻灯机向猫展示特定的模式，并指出特定的模式刺激了大脑特定部位的活动。这种单神经元记录是当时的一项创新，由 Hubel 早期发明的特殊记录电极实现，他们通过这些实验系统地创建了视觉皮层的地图。

而将动物的神经网络复制到计算机上，是福岛邦彦最先做到的。1980 年，日本科学家福岛邦彦在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》提出了一个包含卷积层、池化层的神经网络结构。他的工作被人们评价为深度神经网络基本结构的开创性探索，是当前人工智能领域的核心技术。

福岛邦彦曾在大阪大学、电气通信大学、东京工科大学、关西大学任教，现在已经从大学退休，被「Fuzzy Logic Systems Institute」聘为特别研究员。除了后来发展出卷积神经网络的 Neurocognition（认知控制），现在深度学习中开始热闹起来的 Attention（注意力）网络背后也有他的身影，他也在上世纪 80 年就提出过 Attention 概念和网络。

福岛邦彦是日本神经网络协会 (JNNS) 的创始主席。此外，他还是国际神经网络协会 (INNS) 董事会的创始成员和亚太神经网络大会 (APNNA) 的主席。

福岛邦彦还获得过许多奖项，他曾获得过 IEICE 成就奖和优秀论文奖、IEEE 神经网络先驱奖、APNNA 杰出成就奖、JNNS 优秀论文奖和 INNS Helmholtz 奖等各种奖项。

在前人的基础上，Yoshua Bengio、Geoffrey Hinton、Yann LeCun 等人自 20 世纪 80 年代开始提倡使用机器学习方法进行人工智能研究，提出了「人工神经网络」（artificial neural network），为机器学习研究奠定了基石。

近年来，多种因素导致计算机视觉、语音识别和机器翻译等技术出现了跳跃式发展，人工智能已经成为整个科学界发展最快的领域之一。

福岛邦彦 1971 年在测试电子视网膜。

下次你用人脸识别解锁手机时，可以感谢一下福岛邦彦的贡献。

参考内容：

https://www.youtube.com/watch?v=ysOw6lNWx2o&feature=youtu.be

https://www.reddit.com/r/MachineLearning/comments/q76js4/schmidhuber_pays_tribute_to_kunihiko_fukushima/

https://www.nhk.or.jp/strl/english/publica/giken_dayori/194/1.html

理论福岛邦彦

相关数据

李飞飞人物

李飞飞，斯坦福大学计算机科学系教授，斯坦福视觉实验室负责人，斯坦福大学人工智能实验室（SAIL）前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌，担任谷歌云AI/ML首席科学家。2018年9月，返回斯坦福任教，现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启，李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人，Christopher Manning接任该职位。

来源：个人主页维基百科

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

神经科学技术

神经科学，又称神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。对人脑研究是个跨领域的范畴，当中涉及分子层面、细胞层面、神经小组、大型神经系统，如视觉神经系统、脑干、脑皮层。

来源：维基百科

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。

来源：维基百科

模式识别技术

模式识别（英语：Pattern recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia