1960 年左右，在 Buffalo 城，Perceptron 感知器在进行微调。 在过去五年里，人工智能已经从茫茫迷雾中走出，摇身一变成了科技行业拥有最光明前景的事物。计算机现在已经学会了识别人脸和物体，理解语言，还能在不同语言之间进行翻译。世界上最大的科技公司ーー Alphabet、 Amazon、 Apple、 Facebook 和微软——大多数都将自己的未来押注在人工智能上，并且相互竞争看谁能最快建造出更加智能的机器。特斯拉的自动驾驶汽车，能与孩子聊天的 Alexa，好像人工智能是在一夜之间就出现的一样。但事实上并不是这样，人工智能不是一夜长成，它也不是某个硅谷企业家的脑力发明。
现代人工智能神经网络和机器学习背后的理念可以追溯到二战末期。当时，学者们开始创建计算机系统，它以类似于人类大脑的方式存储和处理信息。几十年过去了，这项技术经历起起伏伏，直到 2012 年前后才引起了计算机科学家们的广泛关注，这要归功于那一小部分即使被误解成傻瓜，也勇敢坚持的研究人员。他们一直坚信，神经网络将照亮世界，改变人类命运。
尽管这些先驱者分散在全球各地，但神经网络的信仰者却相当的集中，他们大都集中在加拿大。某种程度上来说这是因为运气：政府支持的加拿大高级研究所通过为神经网络研究提供资金，吸引了一小群学者来到这个国家，当时神经网络的研究除了看上去有点时髦之外一无是处。这笔资金正好资助了多伦多大学的 Geoffrey Hinton 和 Yann LeCun，蒙特利尔大学的 Yoshua Bengio 和阿尔伯塔大学的 Richard Sutton 等计算机科学家，鼓励他们分享自己的想法并坚持自己的信念。他们提出了许多引发人工智能革命的概念，现在这些人都被认为是该技术教父级的人物。
下文是一个我对他们的采访拼凑而成的传奇故事：这个故事讲述了为什么神经网络花了这么长时间才发挥作用，这些科学家们是如何走到一起的，以及为什么加拿大最终成为了机器崛起的舞台。
(虽然现在并不是每个人都认同加拿大因此而产生的地域自豪感。看看你能否从下面的文章中找到德国研究人员 Jürgen Schmidhuber，并看看他为什么如此的不认同。)
Justin Trudeau（加拿大首相）：人工智能只是一台能够模拟人类思想和行为的计算机。在这个机器里，存在着机器学习，那就是说通过它你可以让计算机一遍又一遍地做实验。它可以模拟一辆汽车在路上行驶或者试图识别照片中的猫。
加拿大首相：贾斯廷·特鲁多
其中，有一个叫做深度学习的机器学习子集。它的基本思路就是你构建一个神经网络，然后对权重和偏差进行调整，以便在预期的结果中找到答案。计算机可以对问题解决的方法进行迭代和改进，这就是 Geoff Hinton 和其他人在过去几十年里真正在做的东西，这一技术现在是人工智能最让人兴奋部分的基础，它能很好地模仿人类大脑的思维方式。
Cade Metz（《纽约时报》的记者，也是即将出版的《人工智能历史》的作者），他称：神经网络的概念可以追溯到 20 世纪 40 年代一个模拟大脑神经元网络的计算系统概念。当时有一个名叫 Frank Rosenblatt 的年轻人，他在 20 世纪 50 年代真正推动了这项工作的发展。他是一名教授，曾与美国海军和其他政府部门合作过，他基于神经网络概念开发了一个名为 Perceptron（感知器）的东西。当他公布这项成果时，像《纽约时报》和《纽约客》这样的媒体都用奇迹之类的词汇来描述这件事。
Rosenblatt 当时声称，感知器不仅可以学着去完成图像识别这样的小任务，理论上来说，它还可以教会机器走路、说话和表达情感。但它只是单层的神经元，这意味着它的能力极其有限，他承诺的事情没有一件真正的实现了。
Rosenblatt 的同事 Marvin Minsky 恰好是他在 Bronx 的高中同学，Minsky 在 20 世纪 60 年代末写了一本书，详细阐述了感知器和神经网络的局限性，他的结论将整个研究领域深深冻结了至少 10 年。
Geoff Hinton：Rosenblatt 的感知器可以做一些有趣的事情，只是他的研究早了大约 50 年的时间。虽然 Minsky 某种程度上也相信神经网络，但他阐释了有些事情是神经网络无法无法完成的。这本由 Minsky 和 Seymour Papert 合著的关于这项技术的书 (Perceptrons: An Introduction to The field) 基本上导致了这项研究的终止。
Geoff Hinton
在 20 世纪 70 年代，一小群人仍在从事神经网络的研究工作，但总的来说，当时已经进入了人工智能寒冬时期。
METZ：Geoff Hinton，他刚开始卡内基梅隆大学工作，后来去了多伦多大学，他一直坚持神经网络的想法。最终，他和合作伙伴以及其他人共同开发了一个多层神经网络ーー一个深度神经网络ーー这个网络开始在很多方面都发挥作用。
一位名叫 Yann LeCun 的法国计算机科学家，在多伦多花了一年时间在 Hinton 的实验室做博士后研究项目。后来，LeCun 被位于新泽西州的贝尔实验室聘用。
Yann LeCun：我从很小的时候就很喜欢智能这类的东西。我出生于 20 世纪 60 年代，当时出现了太空探索，第一台计算机以及人工智能。所以当我开始学习工程学的时候，我就对人工智能非常感兴趣，这在当时也是一个非常新的领域。
Yann LeCun
我听说了感知器的事，很是好奇，因为我认为学习是智能不可分割的一部分。于是我四处寻找，想尽可能找到有关感知器的一切资料。作为一名工程师，如果你想了解智能，最直接的方法就是尝试构建一个智能机器ーー它促使你去了解创造智能所需的组成部分。这有点像航空业的先驱们从鸟类获取灵感，但并没有完全模仿它们一样。你不会想仅仅模仿生物智能或大脑，因为它的机能有很多方面是由于生物化学和生物学的决定的ーー这些真的与智能无关。就像羽毛不是飞行的关键：空气动力学原理才是关键。
Metz：有些人认为 LeCun 完全是个疯子，因为他做的事情在某种程度上是徒劳。一般来说作为一个神经网络研究者，虽然你可以参加那些大型的人工智能会议，但你不会被学术界的核心圈子接纳，因为你的想法太过于边缘。
Yoshua Bengio：在 1985 年，神经网络是一个很边缘的东西，我在麦吉尔大学的时候没有人教这些东西。老师讲的只是一些经典的，象征性的人工智能，所以我不得不去说服我的教授指导我做神经网络。因为我有政府奖学金，所以我可以自由选择我的论文主题，而且对教授来说，这也没什么损失。所以我们达成了一个共识：我可以做机器学习有关的研究，但我要把机器学习应用到他关心的东西上，也就是语音识别。
LeCun：大约在 1986 年，神经网络出现了一段火热时期，部分原因是由于物理学家们对这些模型产生了兴趣，他们甚至还提出了新的数学方法来研究它。这使得神经网络再次被人们所接受，在 20 世纪 80 年代末和 90 年代初引起了不小的兴奋。当时，我们中的一些人基于神经网络系统做出了一些实际成果，比如信用卡欺诈检测。我自己还从事了一项自动化系统的工作，利用字符识别进行文章审查。
1979 年，LeCun (右) 在 Esiee 巴黎研究生院。Source: Yann LeCun
Metz：在卡内基梅隆大学，一个名叫 Dean · Pomerleau 的年轻人在 20 世纪 80 年代末利用神经网络打造了一辆自动驾驶汽车，它可以在公路上行驶。在 20 世纪 90 年代，LeCun 利用这项技术建立了一个可以识别手写数字的系统，这个系统后来被商业化并在银行使用。
1995 年，Pomerleau 演示他的自动驾驶汽车。
因此，在 80 年代末到 90 年代初，神经网络的取得了复兴并应用到了实际生活中，LeCun 的工作就是最好的例子。但是，由于缺乏计算能力和可用的数据，神经网络再次碰到了天花板。人工智能再次进入寒冬。
Jurgen Schmidhuber：虽然我们和加拿大人一起工作，但很明显我们并没有使用他们的算法，而是他们在使用我们的算法。LeCun 其实是一个法国人，我们使用的是 LeCun 的算法。他做出了很多贡献，这些贡献非常重要，也非常有用。
我认识这些人很久了。我和 Yoshua 的第一次接触是在我的一个学生发表同样的东西的四年后，他也发表了同样的东西，或者说差不多是一样的东西。几年后，我们出席了同一个会议，并进行了摊牌。在研讨会上，我们进行了一场公开辩论，让大家都清楚是谁先做了哪些事情，这并不令人讨厌，我们只是在澄清事实而已。你在科学中所做的事情就是澄清事实。( Bengio 否认了 Schmidhuber 的说法。)
LeCun：当时的问题是，这些方法需要复杂的软件、大量的数据和强大计算能力的计算机。但当时没有多少人能够接触到这些东西，或者即使能接触到，也不愿意在这些东西上面投入大量时间。结果呢，在上世纪 90 年代中期到 21 世纪初左右，人们直接做出了选择ーー没有人再真正对神经网络感兴趣。对于 Geoff、Yoshua 和我来说，那真是一段黑暗时期，但其实我们并不痛苦，让悲哀的是其他人的想法。
Hinton：当然，我们一直相信它，并不断地研究它。但是工程师们发现其他方法在小数据集上运行的很好或更好，所以他们对处理小数据集的方法趋之若鹜，觉得神经网络只是是一厢情愿的想法。想让神经网络运行的更好的人数量非常少。
加拿大高级研究所把来自世界各地的，和我们一样的人，聚到了一起互相交流，慢慢的，它给我们带来了一个临界点。
LeCun：这里是一个非常小的社区，聚集在这里的人们脑子里都有这样的想法：神经网络会重现于世。在 2003 年，Geoff 在多伦多与 Cifar 进行了接触，并启动了一个神经网络计算项目。于是我们又聚到了一起，决定努力重新燃起对我们事业的兴趣。
但是在项目发表之前，我们需要一个让人安心的空间来真正发展我们的想法，希望很少的研讨会和会议打扰到我们。该计划于 2004 年正式开始，到了 2006 年，我们写出了一些非常有趣的论文，Geoff 在《科学》杂志上发表了其中一篇。
Hinton 2006 年《科学》杂志论文的人脸识别测试图片。来源：Science
Trudeau：在最近的一次人工智能寒冬，当人们放弃继续前进的时候，加拿大悄悄搭建了现代人工智能的基础设施，这对我来说，是一种「加拿大总是做得很好」的证明。我们支持纯科学项目，我们赋予真正聪明人做聪明事情的能力，虽然这些事情最后可能会不了了之，也可能不会以商业或其他形式落地。
Hinton：2006 年，我们在多伦多发明了多层训练网络的方法，这是一种更有效率的方法。同年，我们在《科学》上发表了一篇非常有影响力的论文来支持我们的主张，这让很多人再次对这一领域产生兴趣。在 2009 年，我实验室的两个学生发明了一种使用这些深度网络进行语音识别的方法，这比现存的网络工作的更好。
虽然这其实只是稍微好了一点点，但现有的技术已经存在了 30 年，没有过丝毫进步。这些深度网络在短短几个月内就能比现有技术做的更好的事实意味着，再过几年，它们将进一步发展。
Metz：大约 2009 年的时候，Hinton 和微软的一位名叫 Li Deng 的语音识别研究人员进行了一次非正式会面。像其他人一样，Li Deng 坚信一种被称为符号人工智能的不同种类的人工智能。在这种方法中，你基本上一次只能建立一行语音识别系统程序，还必须以特定的语言编程，这运作起来真的很慢。
Hinton 就提了他的神经网络语音识别方法正在取得实质性进展。它可以通过分析口语单词数据库来学习识别单词，并且它比符号化的逐行工作更快。Deng 不是很相信 Hinton，但是还是邀请他和他的两个合作伙伴到微软演示一下这个技术。随后，语音识别在微软取得了巨大的飞跃，谷歌同样也在 2010 年取得了巨大的飞跃。
然后，在 2012 年底，Hinton 和他的两个学生有了一个巨大的图像识别突破，他们随之抛弃了以前的技术。那个时候，不仅仅是微软和谷歌，其他行业也意识到了这些想法的强大之处。
要记住的是，这些想法都是非常古老的想法，改变的是神经网络背后的计算能力和数据量。要运行一个微软或谷歌，你需要成千上万的机器协同工作，来一起处理从文本到视频的一切内容。这个改变最终让神经网络取得巨大成功。也就是说，你现在需要大量数据来训练，你还需要强大计算能力来执行训练。
Hinton 在他的办公室里。Source: CIFAR
LeCun：为什么花了这么长时间？因为这就是科学工作的方式。它是心理学，在人们采用一套技术之前，他们必须确信它能起作用。这些方法对环境要求太高，需要一些黑魔法。
Richard Sutton：电脑计算能力的稳定增长的意义是非常深远的。现在，我们在试图开发算法和试图开发越来越快的计算机的人之间进行了一场赛跑。你必须为你的人工智能算法制定一个计划，使之能与 5 年到 10 年内的计算机都能一起工作。
计算机必须知道什么是好的，什么是坏的，所以你给它一个叫做奖励的特殊信号。如果奖励高，那就意味着它是好的。如果奖励低，那就意味着它是坏的。这就是目标的来源。
神经网络是你储存学习的地方，强化则是你如何决定你想要做的改变。
Bengio：我们离 Geoff，Yann 和我梦想的那种无监督学习还有很长的路要走。几乎所有基于深度学习的工业产品都依赖于有监督学习，现在在数百万的案例中，计算机还是要必须被人类告知该怎么做。当然，人类并不是这样学习的，我们是自主学习的。我们自己发现周围的世界。一个 2 岁的孩子有物理、重力、压力等天生的直觉，她的父母从来不需要告诉她 Issac Newton 的力和重力方程式。我们与世界互动，观察，并不知不觉的建立一个心理模型：如果我们这样做或者那样做，未来的事情会如何发展。
我们正在进入一个研究非监督学习的新阶段，它与强化学习联系在一起。我们不仅在观察世界，我们还在世界上实践，然后利用这些实践的效果来弄明白什么事物是有用的。
LeCun：我感兴趣的是让机器像动物和人类一样高效地学习。当你学会开车时，你知道如果你偏离道路，坏事就会发生。我们可以预测我们的行为的后果，这意味着我们并不需要通过做一些事情来认识到它们到底是好事还是坏事。
所以，我所追求的是找到让机器能够通过观察来学习的训练方法，这样他们就能建立世界的预测模型。每一只活的动物都有其对周围环境的预测模型。他们越聪明，他们就越擅长做这件事。你可以说，预测能力加上根据预测进行实践的能力就是智力的本质。
LeCun：我们很可能在接下来的 3 年，5 年，10 年或 15 年内取得一些重大进展。我们还需要很长一段时间才能真正建立类似人类智能的系统。这需要数十年的时间。
Bengio：我不认为人类一定会失业，即使机器变得非常聪明，甚至比我们聪明。我们总是希望有真正的人类从事那些需要与人类交往的工作。我不想让一个机器人照顾我的孩子，或者爷爷奶奶，或者当我生病住院的时候，我不用担心会发生终结者那样的剧本。我相信，如果我们能够建造像我们一样聪明的机器，他们也会足够聪明地理解我们的价值观和我们的道德体系，然后以一种有利于我们的方式进行行动。
我真正关心的是 AI 潜在的滥用，例如应用于军事武器。正如你在广告中看到的一样，AI 已经被用来影响人类。我认为，在道德上或伦理上错误的地方应用人工智能，我们就应该让它成为非法行为。这时我们需要集体智慧。
Sutton：我认为我们这个领域被称之为「人工智能」是一个很大的错误。这使得它看起来和人类很不一样，就像它并不是真正的智能。它会使人们觉得它有陌生感，但这正是我们在试图做的一件人性化的事情：重新创造人类智能。
科学总是揭示不是所有人都喜欢的真相——你了解了真相，但并不一定是你想要的真相。也许这就是宗教在历史上与科学不一致的原因。我想这和我们想更多地了解大脑是一样的。也许并不存在知觉的解释。有些人会喜欢，有些人不喜欢。科学不能改变什么是真相。
只要你有改变，总会有赢家和输家。但是变化是不可避免的。我想我们会成为智能机器，我们应该把 AI 视为我们自己或我们的后代。我们可以创造出我们认为合适的人工智能。
人性是什么？就是为了更好而努力。我们不应该冻结住我们现在的方式，还说这是它应该永远存在的方式。
2011 年，Hinton（左起第二个）和 Bengio（右）在伦敦郊外的一个由比尔盖茨组织的研讨会上。Source: LeCun
LeCun：在我们知道它到底是什么样子之前就开始担心是很不成熟的。我不相信奇点的概念：有一天我们会想出如何创造超智能机器，而且第二天这些机器还会制造出更智能的机器，然后它们又全部飞走。我认为人们忘记了每一个物理事件或社会事件都会面临摩擦，所以指数增长不可能无限期地增长下去。
就像在阿拉斯加的某个地方，有人想出了 AI 的秘诀，然后建造了一个机器人，它接管了整个世界，这简直荒谬可笑，这是好莱坞的场景。
Trudeau：这不是我在过分担心的事情。我想我们都看到过或读过很多的科幻小说，它们描述了理论上的 AI 有多危险。我总有一种感觉，科技可以是好的，也可以是坏的。我相信加拿大是在走正确的道路。我不想放缓我们的研究，我们想弄清楚宇宙的各个的细节。
问题是：我们想要一个什么样的世界？我们想要一个成功的人必须躲在封闭社区里而其他嫉妒的人却在 Pitchforks 更新状态的世界吗？或者，你想要一个人人都有潜力为创新做出贡献的世界？
Hinton：我认为所有这些因素对社会的影响很大程度上取决于我们所处的政治体制。从本质上来讲，为了使商品的生产效率更高，我们应该考虑增加集体效益。唯一糟糕的做法是：如果你管理一个社会，它享受了生产力提高带来的所有好处，却把好处赋予前 1% 的人口。我住在加拿大的原因之一就是税收制度；如果你赚了很多钱，这个国家就会给你很多税收。我认为这太好了。
我的主要观点是，真的很难预测未来。只要你开始预测未来 20 年内会发生什么，最后你总是会发现自己错了。但有些事情我们可以预测，比如这项技术会改变一切。
