Geoffrey Irving（左）和 Dari能o Amodei 展示可以在简单的游戏中训练人工智
Musk 成立的人工智能实验室 OpenAI 里，机器正在学习人类行为。但有时会出错。
最近一天下午，在 OpenAI 位于旧金山的办公里，研究人员 Dario Amodei 展示了一款自主系统，可以自学 Coast Runners 游戏。胜者是跨越终点，得分最高的船。
结果让人吃惊：船对出现在屏幕上的绿色小物品表现出异常的兴趣。抓住这些小物品就能得分。船进入疯狂的得分状态，而不在乎完成比赛。它不停地在转圈，与其它船只发生碰撞，撞到石壁上，不断地着火。
AI 技术在以极快的速度重塑着科技界，而 Amodei 的燃烧的船只展现了 AI 技术的危险之处。研究者正在建造可以很大程度上自主学习任务的机器。这就是谷歌的 DeepMind 如何打造出击败世界顶级围棋选手的系统。但是，随着这些机器通过数小时的数据分析自我训练后，他们可能会找到做出意料之外、不想要甚至做出有害行为的办法。
当这些技术融入在线服务、安全设备以及机器人技术后，也成为人类的一块心病。现在，包括 Amodei 在内的一小部分 AI 研究人员开始探索防止最坏情况发生的数学办法。
在 OpenAI，Amodei 和同事 Paul Christiano 正在研究一种算法，它不仅可以通过数小时的反复试错学习任务，还可以在这个过程中接受人类教师的常规指导。
只需到处点击几下，研究人员就可以告诉系统如何一边迈向终点，一边赢取分数。研究者相信，这种融合了人类和机器指导的算法能够让自动系统处在安全状态。
Dario Amodei 和他的同事正在开发新算法，不仅能够自己试错学习，人类也可以给与指导
多年来，马斯克与其它名、哲学家、技术专家一起警告称，机器可能会失去控制，掌握一些设计者无法预料到的邪恶行为。有时，这些警告显得太过危言耸听，毕竟今天的自动驾驶汽车系统在识别自行车道、红绿灯等基本的任务上，都还磕磕绊绊地。
像 Amodei 这样的研究人员显然是希望在危险发生之前采取行动。在某些方面，这些科家家所做的就如同父母教育孩子分辨是非。
很多 AI 领域的专家相信强化学习技术——一种通过极端反复试错，掌握具体任务的办法，是通往人工智能的基本路径。研究人员设定一个特定的奖励，让机器去争取，在随机执行任务的过程中，机器会密切跟踪可以带来奖励的行为。OpenAI 训练机器人程序打游戏时，奖励就是更多的得分。
一个游戏，却有着应用到真实世界的价值。
如果机器能够掌握 Grand Theft Auto 等赛车游戏，那么，研究人员相信它也可以学习驾驶真正的汽车。如果它可以使用网络浏览器和其它一般的软件应用程序，那么，它也可以学着理解自然语言，甚至会话。在谷歌和加州大学伯克利分校，机器人已可以使用技术来掌握简单任务，比如捡东西，开门。
这也是 Amodei 和 Christiano 想要构建一种一路接受人类指导的学习算法的原因，它可以确保系统不会偏离目前的任务。
与谷歌 DeepMind 研究人员合作后，两位 OpenAI 的研究人员公布了他们的最新研究。过去他们没有真的合作过，但是两个世界顶级 AI 实验室的合作研发的这类算法，被认为是 AI 安全研究的重大进步。
「这验证了很多以前的想法，」加州大学伯克利分校研究人员 Dylan Hadfield-Menell 说到。「接下来的十年，这类算法会很有前途。」
该领域不大，但一直在成长。OpenAI 和 DeepMind 在组队致力于 AI 安全研究的同时，谷歌在美国的实验室 Google Brain 也在从事相关的研究。与此同时，加州大学伯克利分校，斯坦福等大学的研究人员也在与大企业实验室合作开展对类似问题的研究。
Dario（站立），P Amodeiaul Christiano 穿着浅蓝衬衣，Geoffrey Irving 正在白板上写东西
有些情况下，研究人员正在致力于保证系统不会像 Coast Runners 游戏中的船那样自己犯错。他们还需要确定黑客以及其他一些表现糟糕的玩家不去利用这些漏洞。例如，谷歌的研究人员 Ian Goodfellow 正在研究黑客愚弄 AI 系统看到它们本不存在事情的方式。
现代的计算机视觉是基于深度神经网络的技术，通过分析海量数据、识别规律以学习任务。通过分析数千张关于狗的照片，神经网络可以学习如何识别狗。这正是 Facebook 能够从 Snapshot 中识别人脸的技术，也是 Google 在 Photo 应用中快速寻找图片的技术。
但是，Goodfellow 与其他研究人员已经展示过，骇客能够修改图片进而愚弄神经网络。比如，仅仅改变大象图片中的几个像素，神经网络就会相信那是一辆汽车。
当神经网络应用于安防摄像头时，这个问题就很严重了。研究人员说，仅仅改变面部的几个特征，你就可以让摄像头相信你是另一个人。
「即使你用几百万张标记过图片去训练一个目标识别系统，你仍然可以创造出人类和机器每次识别结果百分百不同的新图片。」Goodfellow 说道，「我们还没有搞清楚这是怎么回事。」
人们还担心 AI 系统将会学习如何阻止人类关闭它们。如果机器被设计为寻求人类的奖赏，按照这个思路，它们或许会发现只有保证自己不停运行下去，才能获得这些奖励。有关这种担心可能还有点远，但是，研究人员正在解决这个问题。
Hadfield-Menell 和其他来自加州伯克利大学的研究人员最近发布了一篇论文，采用数学方法解决问题。如果将机器设计为它永远不确定奖赏函数，那么机器会想办法保持开关是开着的。这也给接受甚至寻求人类监管带来了动力。
许多方式还停留在理论阶段。但是鉴于 AI 技术的迅速发，在很多行业领域也越来越重要，研究人员认为，最好是早点开始研究。
「我们无法确定 AI 技术到底会发展得多块。」DeepMind 的 Shane Legg 如此说，他负责公司的 AI 安全研究。「这些技术会被滥用、被攻破的方式也不一，解决问题的办法也不同，最负责任的做法就是理解这些。」
