一、DeepMind 的「红色大按钮」
谷歌的人工智能秘密机构正在研究一个能够让人工智能软件停止运作的「红色大按钮」。
有研究人员曾经警告说，人工智能或许会接管世界，带来世界末日，威胁到人类的生存等。一位专家在新发布的论文中表示，谷歌人工智能战胜围棋世界冠军这一历史性胜利，证明了人工智能「可能具有不可预测性，也可能会违反人类道德」。
而现在，DeepMind 站了出来，说他们已经有了自己的答案——一个关闭人工智能的开关。
谷歌的 DeepMind 团队说，人工智能代理「可能不会每时每刻都以最佳模式工作。」该团队呼吁应在系统中构建 「安全的可中断能力」。
Deep Mind 的 Laurent Orseau 和来自牛津大学人类未来研究所（ the Future of Humanity Institute ）的 Stuart Armstrong 博士合著了一篇论文《Safely Interruptible Agents》发表在机器智能研究所（MIRI）的网站上，他们认为：人工智能代理「可能不会每时每刻都以最佳模式工作」。
他们表示：「有时候，非常需要人类操作人员按下红色大按钮，以防代理继续执行有害的操作序列（包括可能对代理本身有害，或对环境有害的操作），从而引导代理进入更安全的情况。」
他们说，关键是「安全的可中断能力」。
「机器人如果操作出现错误，或者可能会导致不可逆的结果时，安全的可中断能力可以发挥作用，也可以帮助机器人从紧张的局势中脱离出来，甚至可以临时让机器人完成某个未学习过如何执行的任务。」论文中作者也表示，一些系统可能不能够被叫停。
「我们还不明确，是不是对所有算法来说，都能轻而易举地赋予可被安全中断的特性。」
作者 Armstrong 之前警告说，在机器人超越人类，甚至是意外地灭绝人类之前，研发人工智能研究的保障措施是一场与时间的竞赛。
二、人工智能威胁论
今年初，Armstrong 于伦敦参与了一场关于人工智能的辩论，他警告说，尽管机器人被指示要保护人类，人类也有可能被灭绝。
据英国《电讯报》报道， Armstrong 就曾预测，机器人将会执行琐碎的工作，逐渐成为人类日常生活不可或缺的一部分，但最终人类也会由此变得多余，而机器人则会接管世界。
Armstrong 相信，机器人将会以人类大脑无法理解的超高速工作，从而略过与人类的通信进而控制经济、金融市场，还有交通、医疗等。
机器人将不再只能够执行特定的、有限的任务，而是会拥有所谓的人工通用智能（AGI），能够执行的任务将会大大增多。
Armstrong 博士相信，在机器人超越人类（比如图中显示的电影《超验骇客》中的场景），甚至是意外地灭绝人类之前，研发人工智能研究的保障措施是一场与时间的竞赛。
他说，「接下来的 100 年中，你能想象到的人类能做的事情，AGI 有可能都可以非常快地完成。」
Armstrong 担心，对 AGI 来说，一条简单的「阻止人类继续承受痛苦」的指令，可能会被超级计算机解读为「杀掉所有的人类」，而「保证人类的安全」则可能让机器把所有人禁闭起来。
他说，「人工智能这种有害行为会带来风险」，并补充道，人类语言如此微妙，有可能会被误读。
「你可以将一些控制权赋予人工智能，而人工智能也会在这些控制权的限制下运作。但这些控制权造成的效果可能会与人类原本的期望相悖。」他预测道，对一个机器来说，很难说它是否有致命的「意图」，它的行为是否可以符合人类权益，除非，机器本身可以掌控所有功能。史蒂芬·霍金教授之前接受 BBC 采访时曾说：「全人工智能的发展将意味着人类的终结。」
Armstrong 博士预测说，机器人将会执行琐碎的工作，逐渐成为人类日常生活不可或缺的一部分。但最终人类也会由此变得多余，而机器人则会接管世界。
Armstrong 今年年初也发表过相似的意见，他当时说，创建人工智能方面的成功「可能会成为人类历史上一场最重大的事件，而且不幸的是，也可能是最后一件」。
同样的，去年 11 月，Space-X 和 Tesla 的创始人 Elon Musk 曾警告说，仅仅在屈指可数的五年之后，就可能会因为机器拥有人工智能，让人类面临「一些极其危险的事情」的威胁。
马斯克曾将自动化的、有思维的机器与「召唤恶魔」相提并论。
「我们正用人工智能召唤恶魔。你知道这个故事，有一个人拿着五角星一样的东西，还带着圣水...... 他确定自己能够控制恶魔吗？他不知道。」
同时， Armstrong 虽然承认超级人工智能计算机或许有找到癌症和其他疾病的治疗对策等强大的能力。但是，人类仍处于一场致力于打造安全的人工智能机器的竞赛中，争分夺秒，以免为时过晚。
一种方法是，把道德准则教给机器人，但是 Armstrong 对这点是否可行不抱太大希望。因为人类发现自己都很难区分对错，而且就行为规范来讲，人类通常也不是好的榜样。
三、人工智能安全保障公开信
1月份，马斯克和霍金在内的一众科学家和企业家签署了一份公开信，承诺要保证人工智能研究能够让人类受益。
这封公开信警告说，智能机器如果没有安全保障，人类的未来可能会一片黑暗。这份文件由位于波士顿的志愿机构 Future of Life Institute 起草，宣称科学家应该奋力消除可能会使人类灭绝的风险。
这些公开信的作者表示他们达成了广泛的共识，认为「人工智能研究」要有良好的进展，会对社会产生更大的影响。
在因人工智能研究而受益的方面，他们主要提到了语音识别、图像分析、无人驾驶、翻译、机器人移动能力等。
「（人工智能）潜在的益处非常之大，因为人类文明提供的一切事物都是人类智能的产物；当智能被人工智能工具放大时，我们不能预测将会有什么后果，但是消除疾病和贫穷的益处是显而易见的。」这些作者如此写道。
但是他们也发出严重警告，要像研究人工智能能给人类带来什么回报一样，努力避免人工智能可能会带来的潜在的不利影响。
比如，公开信表示，短期来说人工智能可能会让几百万人失去工作。
长期来说，人工智能有可能会像小说中虚构的反乌托邦场景一样，它们的智能比人类更强大，并开始对抗编程指令。
该公开信说，「我们的人工智能系统所做的必须是我们想让他们做的。」
「很多经济学家和计算机科学家都同意，如何将人工智能的经济利益最大化，同时减轻对不平等的加重、抬高失业率等负面影响，做这方面的研究非常有价值。」
