在我们与外星人取得联系之前，神经网络是我们所知的最具有思考能力的非人类思考者了。
1Manuela Veloso的办公室位于布鲁克林一座办公大楼的19层。从办公室的窗户望出去，你可以看到蔚蓝色的天空、纽约港和自由女神像，这些景色让人心情愉快。但现在，我们却直直地望着街对面大厦枯燥重复的玻璃窗。
在楼层里面，我们看见了椅子、办公桌、台灯和纸质资料。但它们看起来有点怪怪的，因为它们其实并不存在于对面那栋楼里。这些物体实际上存在于街这边的一座大楼里——可能是我们正驻足的地方。原来，灿烂的午后阳光照在对面楼房的窗户上，把它们变成了镜子，让我们看到它上面反射出对面的办公室摆设闪闪发光，像鬼魅一样违抗着重力，漂浮在空中。
Veloso是卡耐基梅隆大学的机器人与计算机科学教授。我们正在讨论机器如何感知和「思考」，这个主题讨论起来并不像我期待的那样直截了当。她指着对面窗户上的镜像说：
「机器如何得知那不是真的？这对它们来说真的很难。」
近年来，人工智能正以迅猛的势头征服各种艰难的问题。在过去的几年里，一种叫做神经网络的人工智能方法变得越来越高效，在某些任务（如发现新药物、招聘最合适的人选、甚至驾驶汽车）上，已经可以同人类媲美，甚至超过人类。神经网络的结构模仿了人类的大脑，现在已经能够分辨出文笔的好坏，还能以极高的精度识别出照片中的物体。过去的几个月里，神经网络的应用越来越广泛，渗透生活的方方面面——比如谷歌搜索、亚马逊的推荐系统、Facebook的信息推送和垃圾信息过滤等，并逐步承担起更多重要的任务，如军事安全、金融、科学研究等。而自动驾驶的汽车甚至比人类驾驶员还开得好。
如果机器出了错，假如我们搞不清原因，就很难保证不会再次发生。神经网络有时候也会犯错，有些错能被人们理解。（是的，对面窗户上的书桌看起来真的很真实，连我都很难分辨它们只是反射的镜像。）但是，面对一些困难的问题，神经网络有时却会做出令人难以理解的回应。神经网络会执行算法——这是完成一个任务所需的一组指令。算法当然是由人类写的。但神经网络有时却会得出非常诡异的答案——这些答案显然不正确，以人的理解来看，它们也算不上错误，反而像是外星人所为。
这些古怪的结果很罕见。但是，它们并不仅是随机的小错误。最近，科学家们已经设计出了一些可靠的方法，来让神经网络做出诡异的非人类判断。这意味着，人类不应该假定机器思考的方法和我们一样。有时候，神经网络思考问题的方式与我们迥然相异，而我们却并不知道原因，也不知道它们究竟是如何思考的。
2神经网络有时候不按常理出牌，我们并不知道怎么或者为什么会这样。这可能会带来麻烦，尽管你还没有完全依赖智能家居或者自动驾驶。毕竟，越依赖人工智能，对于可预测性的需求就越苛刻，特别是对于失败的预测。如果一个机器出现了错误，我们并不知道原因，这种错误就难免不会继续出现。
但是，机器偶尔出现的无法预测的古怪想法，也许是人类的一个学习良机。在我们与外星人取得联系之前，神经网络是我们所知的最具有思考能力的非人类思考者了。
某种程度来说，神经网络的感知和逻辑方式相异于人类，这可能是对物种局限以外的智力的一种佐证。伽利略证明了地球不是宇宙中独一无二的；达尔文展示了人类在所有其他生物中并没那么特殊。来自Alberta University研究人工智能的学者Joseph Modayil 表示也许计算机的出现也在证明类似的道理。「人工智能的出现，在智力的范畴向我们展示了不同的可能性.」他说道。
首先，我们要保证我们的无人驾驶汽车不会错误地把校车看成橄榄球衬衫，不会把照片中的人识别成哥斯拉或者海豹，就像之前谷歌的某次错误那样。在过去的几年里，一些计算机科学家执着于找寻这个问题的方法，但是至今没有人能解决。来自怀俄明大学的计算机科学副教授Jeff Clune碰巧也碰到了人工智能系统出现的非常规状况，并开始着手研究。「我并不知道谁能解释这个现象。」他说道。
去年，在一篇名为《深层类神经网络容易上当》（Deep Neural Networks Are Easily Fooled）的论文里，Clune还有他的共同作者Anh Nguyen 和 Jason Yosinski表示，他们已经成功研发了一种系统，能让计算机将下图中的左图识别为海星，右图识别为猎豹，置信度至少为99.6%。
与此同时，另一组来自谷歌、 Facebook、纽约大学和蒙特利尔大学的学者们用另一套系统在测试，将下图中的左图识别为小狗，而右图（有一点像素点的变化）识别为鸵鸟。
右图这张小狗图片在研究者看来是典型的「对比性案例」。这些图片与正确分类的图片差异不大，只在小范围略微不同，却让高级的神经网络做出如此错误的判断，不禁让人们对智能系统的判断能力产生了怀疑。
3神经网络是机器学习的一种形式，可以在数据中进行分析，并得出结论。普林斯顿大学信息技术政策中心的博士后研究员Solon Barocas认为，机器学习不仅能应用在视觉任务上。2012年，Barocas指出，ETS（美国教育考试服务中心）的一个评判文章质量好坏的系统认为，下面这段文字写得非常好（由前MIT写作教授 Les Perelman写就）：
在今天的社会里，大学是模棱两可的。我们需要它来生活，我们也需要它来爱。此外，如果没有大学，全世界的学习都将陷入泥潭。然而，上大学的花费却很高。世界面临的一个最重要的问题就是如何降低大学的费用。一些人认为，大学的高花费要归因于学生们期待的奢华生活。另一些人则辩称，费用是竞技体育的结果。实际上，大学费用之所以昂贵，是因为聘用了过多的助教。
夸夸其谈的词语和精致的句式无法掩饰这段话的空虚，里面根本没有任何真正的想法和思辨。然而机器却给了它满分。
这种令人错愕的结果，不能仅用单个计算机系统的偶然性事件来解释，因为，把一个让某个系统掉链子的例子放到其他系统中，也是同样结果。AI研究公司Vicarious的联合创始人 Dileep George读了《深层类神经网络容易上当》这篇论文之后，很好奇不同的神经网络会如何做出回应。他的iPhone正好有一个现已下架的app叫Spotter，这是一个用来识别物体的神经网络。他让它辨认Clune的网络认为是海星的弯曲线条。George说：「手机说，那是一只海星。」
Spotter检验的照片与原始照片有许多不同之处——George的图片是在不同的光线条件下从不同的角度拍摄的，背景中还有许多像素不属于主体的一部分。然而，这个神经网络还是得出了同样的外星人式解读。George说：「这很有趣，这意味着这个发现的鲁棒性很强。」
实际上，「海星」和「鸵鸟」那篇论文的研究者们也进行了类似的测试，保证他们用于愚弄人工智能的图片在多个系统上都能凑效。谷歌的 Christian Szegedy等人写道：「一个模型产生的错误，也经常在其他模型上发生，即使它们拥有不同的架构」，或采用不同的数据集。Clune说：「这意味着，这些神经网络在校车看起来像什么这个问题上达成了某种共识，而它们所认为的那些与校车很相似的东西，在人看来都根本不像校车。这让许多人十分吃惊。」
当然，任何吸收信息、处理数据的系统都会有认错物体的时候。人脑也不例外，比如有人确信早餐面包上的图案是耶稣的肖像。但是，当你从图形的模式中看出了并不存在其中的东西——心理学家称之为「幻想性视错觉」（pareidolia）——其他人通常都能理解你为何会犯错，因为我们看待和理解事物的思维系统是相同的。
4在一个完美的世界里，我们的机器也拥有同样的系统，这样我们就能理解它们，就像我们理解彼此一样。但神经网络中的诡异错误却告诉我们，我们并不生活在那样的完美世界里。Barocas说，此时我们能看到算法的「思维」并不是人类的翻版。他说：「当机器系统做出人类不会做出的举动时，就能看出，它们的幻想性视错觉也与我们有着天壤之别。」
Barocas补充道：「编写算法的人想赋予它们人性，让它们用人类思考和推理的方式来解读事物。但是，我们需要准备好接受这样一个事实——即使计算机执行与人类相同的任务，它们执行的方式也与人类大不相同。」
当然，一个AI把狗认成鸵鸟，这似乎并不会带来什么危害。机器在许多笔试题上都能得到很高的分数，愚弄神经网络的图片似乎并未出现。但是，一些研究者说，它们会出现的。有时，即使只出现一次也会造成严重的后果，比如把校车错认成橄榄球运动衫，Clune说，「如果是你乘坐的自动驾驶汽车犯了这个错，就很严重了。」
还无法理解一个神经网络如何得到一个难以理解的结果。最好的计算机科学家能观察神经网络的行为并且发现在某些神经元中输入信号是如何触发响应机制的。这比什么都不知道要好，但是依然没有一个内部情况的严格数学描述。换言之，这不仅是机器的思考方式与人类不同的问题，而是人类无法反向还原该过程并找出原因。
具有讽刺意味的是，模仿部分人类大脑的算法中出现了非人类幻想性视错觉。20世纪40年代，神经网络首次以大脑皮层（控制知觉和思维）的粗糙软件模型出现。在神经网络中，由代码组成的虚拟神经元替代大脑中物理神经元进行工作。每个虚拟神经元都是一个多渠道接收信息的节点，即一个计算输入信息函数、输出行为结果的处理器。这些虚拟神经元就像人类大脑皮层中的神经细胞那样分层排列。信息进入一层中触发神经元的集体回应（有些被激活并相互通信，有些则保持沉默），结果以原材料的形式传递到下一层进行进一步处理。
虽然每个神经元都是简单的信息数字计算器，但是，这种体系结构让神经细胞通过接收到的数据共同完成惊人的壮举。例如，在你眺望窗外时，真实大脑中神经元通过视觉神经获得几百万的电脉冲形成你所看到的图像。大脑皮层中的神经细胞层对物体边缘产生响应并将它们的输出结果传递到下一层，这解释了为什么即使在昏暗的灯光下甚至是颠倒的图像中，也能对物体边缘产生反应。下一层神经细胞进一步解析信息，最后所有的视觉信息集合成复杂的感知：「这是一个处在阴影里的颠倒的香蕉。」
神经网络更加简单。但是，随着处理能力的进一步提升以及大数据集成提供样本的可用性提高，它们现在能完成这种类似人脑的处理工作。在大数据情况下，它们的分层处理可以找到模式，并运用该些找到的模式将诸如「海星」和「海豹」的标签与正确的图像联系起来。
机器并没有数亿年的进化史来指导它们注意诸如颜色、边缘、形状等特征。相反，神经网络是被人类程序员训练出来的。例如，他们给它大量的涂鸦（均为人类手写的潦草字母）。通过算法将其进行排序，错误不断被纠正直到所有的分类训练数据都是正确的。与人类自己认出的许多字母d相比，未来，神经网络会更加快速地识别出正确的字母d。这是神经网络架构最吸引人的地方之一：无须没完没了地设定规则定义正确的d，计算机科学家们就能进行手写识别设计。也不需要给机器展示所有字母d的造型写法。只需要字母d的少数几种可能写法，通过训练，就能教会神经系统本身去识别未来可能遇到的所有字母d。
直到几个礼拜后作品被展出，评审方才知道作者不是人类。
这种架构的缺点是：当机器将电视杂讯规定为「猎豹」时，计算机科学家却不清楚神经网络心目中的「猎豹」标准——他们可以根据这个标准来搜索故障。神经网络不是在执行一系列人类创造的指令，也没有过一遍所有可能的「猎豹」。它只是对接收到的输入进行响应。创建网络的算法只是一般地说明了如何处理信息，并未对特定问题的解决做出指导。换言之，神经网络算法并不像精确的食谱，更像在餐馆点菜。「我要烤奶酪和沙拉，怎样做取决于你，」Barocas说，「探索数据，发现结果，发现关系，计算机使用着自己创造的规则。」
5目前，人们无法找出计算机创造出来的规则究竟是什么。在一个典型的神经网络中，只有输入层和输出层才能轻易被人们理解——输入层将数据输入系统，输出层将其他层的计算结果呈现给人类世界。在输入层和输出层的中间是众多隐藏层，虚拟神经元在其中处理信息、形成连接、并在其间分享它们的处理结果。在人的大脑中，由于运算数量过大，从实际操作的角度看，根本不可能精确指出单个神经元对最终结果的贡献。Clune说：「在一个60亿人口的经济体中，就算你认识每个人，知道他们的一切，你也不可能预知接下来会发生什么事，甚至也无法解释过去发生的事。复杂性就这样自然而然地浮现了，它取决于亿万个部分之间的复杂交互，我们人类无法理解这样的过程。」
此外，大量信息处理是在不断变动着的神经连接中完成的，并非发生在单个细胞中。所以，即使计算机科学家准确地知道了神经网络中每个神经元在某个特定时刻的行为，他们也没法绘制出处理过程的完整图景。比如说，仅知道某个神经层中的一部分神经元被一张脸的外轮廓所激活，却没法告诉你这些神经元在识别脸的身份中所扮演的角色。
这正是为什么Clune等人最近在谈到神经网络时说，「神经网络长期以来都被认为是『黑箱』，因为难以准确理解经过训练的神经网络究竟是如何工作的，它们之中有着海量的连接以及非线性的部分。」
Clune认为，研究神经网络的计算机科学家与研究全球经济的经济学家十分相似。他说：「太棘手了，很难理解。但是，不能完全的理解，不意味着不能理解其中一些事情。」关于神经网络的内在运作，他说：「我们正在渐渐找到规律，也许能达到艾伦·格林斯潘（前美联储主席——译者注）式的理解水平，但却缺乏物理学家式的理解水平。」
去年7月，谷歌的一个研究团队——Alexander Mordvintsev、Christopher Olah和Mike Tyka——公布了他们开发的一种方法，可以让图像识别网络展现出结构中某一特定层级的运行。他们写道：「我们只是随便给了神经网络一张图片或照片，让它自己去分析。接下来，我们选择其中一层，并让神经网络增大它检测到的东西。」结果出现了一组惊人的图片——图片中的形状随着所聚焦的询问层的变化而发生着改变。（很快，它们就在网上掀起了轩然大波，被称为「Google Deep Dream」。）他们还写道：「比如说，较低的层级倾向于产生类似笔画和简单的装饰性模式，因为这些层级对基本的特征十分敏感，比如边缘及其走向。」
不久之后，加州理工学院的Clune、Yosinski、Nguyen、Thomas Fuchs，以及康奈尔大学的Hod Lipson发表了另一种方法，也能让活跃的神经网络展示出部分层级，甚至单个神经元的行为。Clune解释说：「这样你就能看到，某一个特定的节点如何做出反应。我们已经开始将光亮投射到黑箱中，让你理解里面正在进行的事情。」
用于训练算法的数据集无法得出想要的结果——正当科学家们为此头疼脑热时，另一些人却认为，算法梦见的那些奇怪的东西，可能正反映了被我们自己忽略的现实。
毕竟，Clune说，人和蜜蜂都喜欢鲜花，但不意味着这两种动物眼中的鲜花是一样的。「我们能看见的光谱范围与蜜蜂不同，所以鲜花呈现出来的模式也会完全不同，」他说。不管是给人装上蜜蜂的眼睛，还是给蜜蜂装上人的眼睛，两种动物都会觉得对方眼中的鲜花很奇怪，但这并不意味着其中一种视觉只是幻觉。也许，神经网络的怪异之处能告诉我们某些隐藏的事。它甚至能让我们很开心。
在Clune等人的研究中，识别算法检测过的一些图片与被机器认为是猎豹的电视杂讯并不相似。与之不同，这部分图像与算法选择的种类有关。比如说，它宣告，下图中的左图是监狱，而右图是草莓。
人类则不会进行这样的分类。但是，把机器算出的结果展示给人们之后，人们就能看出其中的联系。与「电视杂讯是猎豹」的判断不同，这种类型的机器判断能引领人们用新的眼光来看待草莓，或对「草莓」这一类别做出新的判断。
对研究者来说，这听起来很像一种好「艺术」。所以，他们向怀俄明大学艺术博物馆的一个比赛上传了一些图片。算法的作品进入了35%的入围作品中，并在博物馆进行了展出——接下来还获奖了。直到展出的几星期后，比赛评委才知道这些作品的作者不是人类。Clune说：「我们注册了一个评审艺术比赛，并不要求提供任何信息。过段时间后，我们才给他们发去了电子邮件，说，『哦，顺便说一下，这是背景故事……』」
把AI研究者描述为乐天派很合适——他们认为，计算机写的诗或计算机编的舞蹈很好看。即使算法创造出了一种人类无法表演的舞步，Clune说：「我们依然可以舒服地欣赏机器人跳舞。」现在是2015年，在此时，我们能肯定的是，人类并不能完全理解算法的幻想性视错觉，即使它越来越多地依赖算法过程。
「这些问题的答案并不是严格的对与错，但是它真的很令人着迷，」Clune说。「这很像现代的神经科学。我们研究大脑，并试图反向还原它们，以找到它们运行的秘密。」
不管怎样，关于机器的「思维」，我们必须跳出神经网络研究者的框架，才能获得更完整的图景。这对整个人工智能领域来说，都是一个很大的挑战——对基于此的整个社会，也同样如此。
本文选自Nautilus，机器之心编译出品，参与成员：Rui、李小鱼、孟婷、汪汪、赵赛坡、微胖
