AI教父Geoff Hinton和深度学习的40年

坚持你所相信的,直到世界追上你的脚步。

因为伤了背,Geoff Hinton已经站着工作了12年,似乎巧合地迎合了现在“站立工作”的这股风潮。

“我领先于潮流,”Hinton说。

不仅仅是这一点,Hinton更广为人知的“领先于潮流”,是在深度学习领域。在所有人都不看好神经网络的年头,是他,将这一技术带进了主流学术界。

Bloomberg近日为这位“深度学习教父”拍摄了一段特写纪录片,用短短8分钟,讲述了这位“有点皮”的教授关于神经网络40年传奇经历


为什么是AI教父?

今天,混AI圈的人鲜有人没听过Geoff Hinton。他是谷歌大脑研究小组的负责人,多伦多大学的荣誉教授。而奠定了他在今天人工智能圈“教父”地位的,是他在多层神经网络技术的贡献。

Hinton对AI的贡献有多大呢?

学术点说,Hinton在1986年提出的通过反向传播来训练深度网络理论,标志着深度学习发展的一大转机,为近年来人工智能的发展奠定了基础

更实际点说,今天谷歌中通过语音识别进行图片检索、在手机上把语音转化为文字的技术的实现,大部分功劳要归于Hinton博士的研究。

他的研究,彻底改变了人工智能,乃至整个人类发展的轨迹。

从研究大脑,到尝试制作一个

Geoff Hinton出生在英国一家“书香门第”,家人多是数学家和经济学家,这样的“学霸爸妈”显然让Hinton的童年不太好过,正如他自己所说:“我大概在7岁的时候就意识到,不读博是不行了(微笑脸)。”

而最初把Hinton引上人工智能这条路的,是他对人脑的好奇

Hinton很早就沉迷于大脑如何工作的问题。于是,他开始进入生理学,解剖大脑以了解其工作方式。

不满足于此,他又开始学习心理学。最后,他决定更多地使用计算机科学的方法来模拟大脑,并进入人工智能领域,开始了他近40年的研究生涯。

“我认为,如果你真的想了解一个非常复杂的装置,比如大脑,那你就制作一个。”

坚信神经网络:“其他人都错了”

尽管现在已经成为了人工智能的主流研究方法,神经网络在最初问世时,命途多舛。

1956年,美国认知心理学家弗兰克·罗森布拉特(Frank Rosenblatt)基于神经元的理论发明了一种模拟神经元的方法。它的基本点是一个被称为神经元的小单位的集合。 这些集合都是小的计算单元,但可以模拟人脑计算的方式。和我们从感官中获取数据一样,这些神经元可以获取传入数据并进行学习,所以神经网络可以随着时间的推移做出决定。

但是,Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能——比如下棋的能力。

几乎没人再相信神经网络的前景,也没人再研究神经网络

除了Hinton。

“大脑是一个巨大的神经网络,因此,神经网络必须也是可以工作的,因为它在我们的大脑中起作用。”Hinton说。

“那是什么支持着你不放弃?”

“其他人都错了(everyone else is wrong)。”

离开五角大楼,成为“加拿大之光”

为了找到一个支持他研究神经网络的栖身之处,Hinton在美国辗转多地。但是,当时大部分的学术研究都是受到国防部支持。

而Hinton对于这样拿到自己的研究经费并不满意:“我不希望我的研究成果被用在一些不善意的目标上。”

的确,深度学习从诞生之日起,就与国防部的一些军事目的有着不可分割的渊源。

甚至直至今天依然如此——今年3月谷歌被曝光正参与Maven项目,向美国军方提供TensorFlow APIs和无人机图像识别技术,引起巨大争议和众多抗议,6月谷歌不得不承诺不将AI用于武器。这场声势浩大的争论甚至将战火燃到了李飞飞身上

而关于AI伦理和技术人员责任的争论也从来没有停止过。

近两年,将算法用来自动识别一起犯罪是否属于团伙犯罪,或识别一个人是否是同性恋的研究屡见不鲜,算法的缔造者是否应该在研究之外分出心力,了解自己研究背后更深的影响呢?

在40年前,Hinton的选择或许已经给出了他的答案。

为了避免为五角大楼服务,Hinton最终落脚在加拿大的多伦多大学。这个国家欢迎他,也支持他的神经网络研究。“去这个文明的小镇继续研究对我来说非常有吸引力。”

而HIinton也没有让加拿大失望。

正因为Hinton和他的学生的研究,加拿大现在已经成为人工智能研究的重要力量之一,多家人工智能巨头都将他们的研究中心开在了多伦多,各种前沿人才为了追随Hinton的脚步,络绎不绝地来到这座北方国度:“Hinton将加拿大拉入了AI超级大国的版图。”

坚持你认为对的,直到世界追上你的脚步

在多伦多,Hinton和他的团队研究出了更深度的神经网络,以解决更复杂的问题。他们共同开发了一个多层神经网络,这个深度神经网络也被应用于多个方面。

比如有人用它在80年代就打造了一辆无人车并且开上了路。

而现在已经是深度学习的另一位领袖人物、Facebook的AI实验室负责人Yann LeCun则利用深度神经网络建立了一个可以识别手写数字的系统。这一系统最终实现了商用。

在当时,深度神经网络的前景似乎一片大好,但是,现实中的故事往往没有这么简单。

Hinton的研究再次遇到了瓶颈。

“我们当时并没有足够的数据,也没有足够的计算机运行能力,AI和计算机科学的从业者认为神经网络是一厢情愿的想法。”

但Hinton始终坚持着,尽管完全不被重视

他坐在房间的最角落里参加学术会议,在大牛云集的人工智能会议上完全不被重视。甚至他自己也开始产生了怀疑:“有很多次我都觉得我不会继续这项工作了”。

直到这个世界开始慢慢追上他的脚步。

2006年,计算机的运行速度有了巨大的提高,超快速芯片的到来以及互联网上产生的大量数据使得Hinton的算法变得非常神奇。突然之间,计算机开始可以识别图像中的内容,可以识别语音,可以将一种语言翻译成另一种语言。

2012年,Geoffry Hinton和他的团队带着 AlexNet参加了那一年的 ImageNet ILSVRC 挑战赛,以惊人的优势获胜(错误率比第二名低了足足 10%)。这篇被 NIPS 2012 收录的论文被认为是深度学习热的开启。

同年,“神经网络”和“机器学习”等词汇也开始在纽约时报的头版出现。

“人们终于理解了这个概念,我感到很欣慰。”Hinton这样说。

推翻自己,胶囊网络的提出

尽管已经成为了深度学习的领袖人物,Hinton的脚步却从没有停歇。2017年10月26日,Hinton发表了一篇在AI圈掀起轩然大波的论文——Capsule Networks(胶囊网络)

Hinton高喊,“卷积神经网络(CNN)的时代已经过去了!”,将他过去几十年的研究翻了过去。

感兴趣的读者可以查看论文。

论文链接:

https://arxiv.org/pdf/1710.09829v1.pdf

尽管胶囊网络现在仍然处在婴儿期,在训练庞大的数据集时,仍可能会遇到问题,但在未来,Hinton相信它还有发展的巨大潜力。

也许,这位深度学习教父还将再次改写深度学习的发展历程。

产业Geoff Hinton深度学习
2
相关数据
神经网络技术
Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

Alex网络技术
AlexNet

AlexNet是一个卷积神经网络的名字,最初是与CUDA一起使用GPU支持运行的,AlexNet是2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的。该网络达错误率大大减小了15.3%,比亚军高出10.8个百分点。AlexNet是由SuperVision组设计的,由Alex Krizhevsky, Geoffrey Hinton和Ilya Sutskever组成。

深度神经网络技术
Deep neural network

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

无人机技术
Drones

无人机(Uncrewed vehicle、Unmanned vehicle、Drone)或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

卷积神经网络技术
Convolutional neural network

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

逻辑技术
Logic

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

机器学习技术
Machine Learning

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

神经元技术
neurons

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

语音识别技术
Speech Recognition

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

深度学习技术
Deep learning

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。 近年来监督式深度学习方法(以反馈算法训练CNN、LSTM等)获得了空前的成功,而基于半监督或非监督式的方法(如DBM、DBN、stacked autoencoder)虽然在深度学习兴起阶段起到了重要的启蒙作用,但仍处在研究阶段并已获得不错的进展。在未来,非监督式学习将是深度学习的重要研究方向,因为人和动物的学习大多是非监督式的,我们通过观察来发现世界的构造,而不是被提前告知所有物体的名字。 至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

张量技术
Tensor

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

TensorFlow技术
TensorFlow

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

推荐文章
详细揭秘来自未来的奇点大学详细揭秘来自未来的奇点大学
机器之心机器之心
人工智能老友记:三巨头论剑深度学习新方向人工智能老友记:三巨头论剑深度学习新方向
李九喻李九喻
神经网络的信徒们神经网络的信徒们
PSI内容合伙人PSI内容合伙人
返回顶部