近日，Science 发表了一篇题为《How AI detectives are cracking open the black box of deep learning》的文章，通过介绍 Uber 的研究科学家 Jason Yosinski 的深度学习网络引出了黑箱问题（Why, model, why?），接着介绍了新一代研究者提出的三种打开黑箱的工具：一些工具可以无需深入即可探测 AI；一些是带有更高透明度、可媲美神经网路的替代算法；一些则继续使用更多的深度学习来窥探黑箱。正是这些新探索形成了一门新学科，Yosinski 称之为「人工智能神经科学」。
Jason Yosinski 坐在加州旧金山总部的小型玻璃办公室内，陷入了对人工智能的沉思。作为 Uber 的研究科学家，Yosinski 正为在笔记本电脑上运行的人工智能进行「脑外科手术」。很多 AI 将为人类现代生活赋能，比如 Uber 无人驾驶汽车，Yosinski 的程序是一个深度神经网络，其架构或多或少受到了大脑的启发。正如人类的大脑一样，这个程序很难从外部理解：它是一个黑箱。
这一特殊的人工智能通过大量的标注图像被训练，从而识别像斑马线、消防车、安全带等任意物体。它可以识别 Yosinski 和徘徊在摄像头前面的记者吗？Yosinski 放大了其中一个人工智能的独立计算节点——神经元——从而查看是什么引发了其反应。两个幽灵般的白色椭圆状物体浮动在屏幕上。这个神经元似乎已经学会了如何探测人脸的轮廓。他说：「它会对你我的面部做出反应，也会对不同大小、不同颜色的人脸做出反应。」
没有人训练这种神经网络识别人脸。训练图像中的人类不被标注，但是网络确实在学习识别人脸，也许是通过学习倾向于与人脸一同出现的物体，比如领带、牛仔帽。神经网络如此之复杂，以至于人类无法理解其做出的每一个决策。Yosinski 的探索为我们指明了部分道路，但总体状况依然不清楚。他说：「我们有令人惊叹的模型，但实际上并不理解它们，且这种情况在逐年恶化。」
深度神经网络（或深度学习）似乎每个月都会扩展至另外一个学科领域。它们可以预测合成有机分子的最佳方式。它们可以探测与自闭症相关的基因。它们甚至改变了科学本身的进展方式。人工智能无往不利，但是却留给了理论科学家一个忧虑的问题：模型为什么会如此？为什么？（Why, model, why?）
这一阐释难题正在激励着来自学界和业界的新一代研究者。正如显微镜揭示了细胞，这些研究着正打造工具从而可以一窥神经网络的决策方式。一些工具可以无需深入即可探测 AI；一些是可以媲美神经网路的替代算法，带有更高的透明度；一些则继续使用更多的深度学习来窥探黑箱。它们加起来成了一门新学科，Yosinski 称之为「人工智能神经科学」。
打开黑箱
通过大致地模仿人脑，深度神经网络激发了整个科学领域的创新。但是模型的机制依然神秘：它们是黑箱。科学家正全力开发工具打开它。
.png)
Marco Ribeiro，西雅图华盛顿州立大学的一名毕业生，试图通过一种被称为「反事实探针（counter-factual probe）」的神经科学工具打开黑箱。其想法是通过聪明的方式调变人工智能的输入以查看哪些变化影响以及如何影响到了输出。以输入电影评论文字并标注积极与否的神经网络为例。Ribeiro 的程序 LIME（Local Interpretable Model-Agnostic Explanation）会把一个影评标注为积极并对文字稍作修改以创造新的微妙的变体。接着这些变体会被输入黑箱以查看其是否依然被标注为积极。通过数千个测试，LIME 可以辨别词语，或者部分图像、分子结构，再或者任意类型的数据（这在人工智能的最初判断中至关重要）。这些测试也许揭示出单词「horrible」对 panning 十分关键，或者「Daniel Day Lewis」带来了一个积极评论。但是尽管 LIME 可以断定这些单一实例，但在揭示黑箱问题方面却差强人意。
新的反事实方法比如 LIME 似乎每月都有出现。但是谷歌的另外一个计算机科学家 Mukund Sundararajan 发明了另一种探查方法，它无需对网络进行数千次测试；如果你正在尝试理解很多决策而不是几个，这绝对是一个福利。Sundararajan 及其团队并不是通过随机调变输入，而是引入一个空白的引文——一张纯黑图像或者一个代替文本的零排列数组——并将其一步一步向测试的实例转化。通过在网络中运行每一步，他们观察其确定的跳跃，并通过轨迹推论出对于预测重要的特征。
Sundararajan 对比了这一过程，找出了辨识其所在的玻璃墙空间的关键特征——杯子、桌子、椅子和电脑的标准组合。「我可以给出一个十足的理由。」但是你说慢慢调暗灯光。「当灯光变的非常暗淡，只有最大的原因凸显出来。」这些来自空白引文的转化允许 Sundararajan 比 Ribeiro 的变体捕捉到更多的网路决策。但是更深的、未解答的问题依然存在，Sundararajan 说——一种对他来讲像身为人父一样熟悉的心智状态，「我有一个四岁的孩子，不断让我想起 why？的无限回归。」
这一问题的紧急并非只来自科学。根据欧盟的一项指示，那些部署持续影响大众的算法的公司必须在来年对其模型的内在机制做出解释。美国军方的蓝天研究机构国防高级研究计划署正在向称为「可解释 AI」的新计划投入 7000 万美元，试图解释用于无人机和情报挖掘作业的深度学习。谷歌山景城的机器学习研究者 Maya Gupta 说，打开黑箱的驱策同样来自硅谷内部。她于 2012 年加入谷歌，当时询问过 AI 工程师关心的问题，她发现精度并不是他们唯一关心的。工程师们告诉 Gupta：「我们并不确定神经网络在做什么，我们不太信任它。」
Rich Caruana，一名微软雷德蒙德研究院的计算机科学家，很早就知道这种信任的缺失。作为卡内基梅隆大学 1990 年代的毕业生，他加入了一个试图通过机器学习改善肺炎患者治疗的团队。通常来讲，把病患送回家是最好的，可以避免医院的其他交叉感染。但是一些病人，尤其那些带有复杂病因（比如哮喘）的患者应该获得立即治疗。Caruana 应用一个神经网络来处理由 78 家医院提供的症状及其结果的数据集，它似乎工作的很好。但令人不安的是，他看到一个更简单、透明的模型要求把哮喘病人返送回家，这暴露了数据之中的一些缺陷。并且他并不能轻易知道他的神经网络是否吸取了这一教训。他说：「对神经网络的恐惧是完全正当的，而真正让我感到恐惧的是神经网络在学习对的事情的同时也学习了错的事情。」
今天的神经网络要比 Caruana 的研究生们使用的复杂得多，但其本质是相同的。一端是数以百万计的杂乱数据（比如狗的照片）。这些数据会被输入具有十几个或更多层的网络中，其中的神经形式链接会响应数据中的特征。每一层都会把内容抽象一点，最后一层解释出最终的判断，如从梗犬中辨别出腊肠犬。
在一开始，系统或许会陷入混乱。但每次结果都会与标记好的狗图片进行对比。在一种被称为反向传播的过程里，结果会通过网络向前发送，使其能够对每个神经元的触发器进行重新加权。这一过程会重复数百万次，直到整个网络——不知何故——学会如何识别不同品种的狗。「使用现代技术和大胆的尝试，你可以让它们真正地工作起来，」Caruana 说道。然而，这种神秘而灵活的力量也让神经网络变成了黑箱。
Gupta 对于处理黑箱问题有不同的策略：她尝试绕开这些问题。几年前，Gupta 兼职作为一名复杂物理谜题的设计师，开始了一个名为 GlassBox 的项目。她的目标是将工程化的可预测性纳入神经网络而对其进行解释。她的指导原则就是单调性（monotonicity），即变量之间的相关性问题，如增加某个变量，另外一个变量到底是会跟着增加（单调递增）还是会降低（单调递减），或者只能局部成单调性。
Gupta 将这些单调性关系嵌入到称之为插值查询表的蔓生数据库（sprawling database）中。本质上这个查询表就像高中三角函数查值表一样。但是该插值查询表不是一个维度上的十多个条目，它在多个维度上有数百万的条目。她将这些表写入神经网络中，因此有效地添加了一个额外的、可预测性的层级计算知识，因此神经网络也将变得更具可控性。
与此同时，Caruana 一直记得他的肺炎经历。因此为了在避免黑箱问题时能开发一个可以精确匹配深度学习的模型，他转向了和统计机器学习经常相辅相成，但又并不总是能很好匹配的领域：统计学。
20 世纪 80 年代，统计学家率先推出了一种称为广义加性模型（GAM）的技术。该技术建立在线性回归之上，即一种在数据中寻找它们线性相关性的方法。但是 GAM 可以通过多个运算解决来解决复杂性关系，这些运算可以将非线性关系的数据原空间投影到存在线性相关性的新空间，因此能拟合一条回归线（如对某些特征进行平方，而对另外一些取对数等）。Caruana 已经扩展了这个过程，他使用机器学习来搜索发现这些非线性运算，然后再将系统发现的运算应用到强大的模式识别模型中。他说：「令我们惊奇的是，这种方法在很多问题上都能得到非常不错的精度。」至关重要的是，每一个运算在底层数据的影响都是透明的。
Caruana 的 GAM 在处理复杂数据上并不能像 AI 方法那样有效，如神经网络极其擅长的图像或者语音等。但是对于可以用表格行和列表示出来的数据，该模型还是能很好运行的。Caruana 返回到他原来的肺炎记录，并使用 GAM 重新分析了它们，因此他能看到为什么 AI 能从录用数据学到错误的经验。医院常规上会将患肺炎的哮喘病患者放入重症监护病房，以改善医疗效果。而 AI 会只看到这个病能快速好转，因此将建议患者回家治疗。对于其他一些病症同样存在这样的错误判断。
Caruana 已经开始向加州医院（包括洛杉矶儿童医院）推广 GAM 方法，并且已经有十多名医生审查了他模型的结果。他们花了很多时间在会议上讨论模型到底告诉了他们肺炎患者什么样的信息，才能让它如此迅速地决策。其中一位医生说：「虽然你对医疗保健知道的很少，但你的模型却极其精确。」
有时候，我们必须承受黑箱的困惑。因此理论研究者开始追寻深度学习可解释性的第三条道路。他们说解释深度学习的方法可以简单地进行更深度的学习，而不是寻求理解神经网络或避开它。
如果我们不能质疑它们为什么这么做，并让他们给出合理的回答，那人们只能把人工智能束之高阁。
像很多 AI 开发者一样，Mark Riedl，亚特兰大佐治亚理工学院娱乐智能实验室的负责人，用上世纪 80 年代的电子游戏来测试他的作品。青蛙过河游戏（Frogger）是他最喜欢的游戏之一，玩家使青蛙通过小路穿过车流，到达彼岸的池塘。训练一个神经网络来进行专家级的青蛙过河游戏其实非常容易，但是解释 AI 在其中所做的事情通产很难。
Riedl 没有对那个神经网络进行探究，而是让人类受试者去玩这个游戏，并且通过让人们实时发声来描述他们的策略。Riedl 在游戏代码中记录了那些玩家的评论：「噢，有一辆车冲我来了；我需要往前跳。」以那两种语言为基础——玩家的话语和代码——Riedl 训练了第二个神经网络来对两种语言进行翻译，把代码译为英文。然后他把这个转译网络（translation network）和他初始的游戏网络进行连接，生成了一个可以进行表达的综合性 AI，当它停在小路上的时候，它会表示，「在我移动之前我正在等待打开一个洞。」当被卡在屏幕边缘的时候 AI 也会沮丧，咒骂和抱怨，「天哪，太难了。」
Riedl 把此方法叫做「合理化」（rationalization），他设计这种方法来帮助用户理解家庭机器人、自动驾驶汽车等机器。「如果我们不能质疑它们为什么这么做，并让他们给出合理的回答，那人们只能把人工智能束之高阁。」Riedl 说道。但是那些安慰性的解释又引起另外一个问题，他补充道：「在人类失去信任之前，合理化（rationalization）会错到何种程度」
回到优步，Yosinski 已经被推出玻璃箱之外。Uber 以城市命名的会议室，正在被使用，这里可没有峰时价格（surge pricing）来减少使用人群。他从多哈离开，来到了加拿大的蒙特利尔，大脑中的无意识模式识别（unconscious pattern recognition）处理指引他穿越办公室迷宫——直到他迷路。他的图片分类器也还是一个迷宫，并且，像 Riedl 一样，他已经使用了第二个 AI 系统来帮助他对第一个系统进行理解。
研究人员已经建立了神经网络，在图片的左边填充间隙，可在一个人工智能体中识别裂纹瑕疵。
.png)
首先，Yosinsk 更新了分类器来生成图片，而不是对图片进行标注。然后，他和他的同事给它进行静态着色，并且通过它给请求对象（request）发送一个信号，比如，「更多的火山。」最终，他们假设，网络会把噪声融入进火山框图中。而且在某种程度上，它会：那个火山，在人类眼里，仅仅就像一个灰色的、平淡无奇的一团。AI 和人类看见的东西是不同的。
接下来，这个队伍对它的图片使用了生成对抗网络（GAN）。这样的 AI 系统包括两个神经网络。在图像的训练数据集中，「生成器」学习生成图像的规则，并且能够创造合成型图像。第二个「对抗网络」会试图检测图像结果是真是假，促使生成器再一次进行尝试。这个反复过程最终会生成包含人眼可识别特征的粗略图像。
Yosinski 和他之前的实习生 Anh Nguyen 把 GAN 和他们原始的分类器网络层连接起来。这一次，当网络被告知创造「更多火山」之后，GAN 采用灰色粉末，分类器进行学习，加上图片架构的自我知识，把它编码进了合成数组中，肯上去很像真实的火山。一些是休眠的火山、一些是爆发的活火山、一些是白天的火山、一些是晚上的火山。还有一些可能带有瑕疵，但能提示分类器的知识缺陷。
他们的 GAN 现在能够绑定到任何解决图像问题的网络。Yosinski 已经使用它来识别网络中的问题，为任意图像编写描述。而且他逆转了该网络，以便于能为任意描述输入合成图像。在与 GAN 联系起来之后，他发现了一个令人吃惊的疏漏。在提示「a bird sitting on a branch」之后，网络使用 GAN 转移过来的指令，生成树和树枝牧歌式的描绘，但没有鸟。为什么呢？在向原始描述模型馈送改变过的图像之后，他意识到这些描述的撰写者描述树林和树枝的时候都带鸟。人工智能错误的学习了什么是鸟。Yosinski 说，「这暗示什么是人工智能神经科学的重要方向。」这只是个开端，还有大片的空白需要弥补。日子平静了下来，但 Yosinski 的工作也还只是开始。这时，办公室又响起了敲门声，Yosinski 和他的人工智能被踢出了另一个会议室，回到了 Uber 城市、计算机与人类的迷宫。
