张倩 路雪参与

当 AI 掌握「读心术」:DeepMind AI 已经学会相互理解

「心智理论」一直被认为是人工智能无法掌握的能力,然而在 DeepMind 发表的论文《Machine Theory of Mind》中,研究人员提出了一种新型神经网络 ToMnet,其具备理解自己以及周围智能体心理状态的能力。该论文已被 ICML 2018 接收为 Oral 论文。近日,这一研究又引起了《Science》的注意。

有时候,我们会觉得 Siri 或 Alexa 等数字助理非常令人失望,因为它们根本不懂我们人类。它们需要懂点被心理学家称为「心智理论」(theory of mind)的东西,搞清楚别人的信念和意图。最近,计算机科学家开发出了一种新的 AI,这种 AI 可以探测到其他计算机的「想法」,并预测它们的行动,这是机器之间以及机器与人之间灵活协作的第一步。

加州大学伯克利分校的发展心理学家 Alison Gopnik 表示,显然,要探索一个充满各种想法的世界,「掌握心智理论非常重要。」人在大约 4 岁的时候会了解到,他人的信念可能与现实不符,然后根据这个人的信念推断其接下来的行动。当前的计算机可以区分「开心」、「生气」等面部表情,这是一种与「心智理论」相关的技能,但是它们对人类的情绪、动机知之甚少。

这一新项目的初衷是尝试让人理解计算机。AI 使用的许多算法并不是完全由程序员完成的,而是依赖于机器在解决问题的过程中不断「学习」。计算机生成的解决方案通常是黑箱,由于算法过于复杂,人类往往难以理解。因此,DeepMind 研究科学家 Neil Rabinowitz 和他的同事创建了一个名为「ToMnet」的心智理论 AI,并使其观察其他 AI,看看它能否了解其他 AI 智能体的工作原理。

ToMnet 由三个神经网络组成,每个网络包含一些小的计算单元和从经验中学到的连接,与人类大脑类似。第一个网络根据其他 AI 过去的行动学习它们的倾向。第二个网络理解其他 AI 的当前「信念」;第三个网络接收前两个网络的输出,并根据情况推测其他 AI 的后续行动。

研究中涉及的 AI 智能体是在虚拟房间中到处移动收集彩色箱子以获取得分的简单「角色」。ToMnet 从上方观察整个房间。一次测试中有三种「角色」:一种看不到周围环境,一种记不住最近的步伐,一种可以看到也可以记住。看不到的智能体可能会沿着墙走,「失忆」智能体会移动到离它最近的物体处,而第三种能够构建子目标,以特定顺序有策略地抓取物体,得到更多分。DeepMind 研究人员在本月于瑞典斯德哥尔摩举办的 ICML 大会上报告称:经过一番训练,ToMnet 不仅能够在几步之后识别「角色」的种类,还能够准确预测它们的未来行为。

最终测试证明,ToMnet 甚至可以理解持有错误信念的「角色」,这是训练它们掌握心智理论(人类和其他动物具备的心智理论)的关键阶段。在该测试中,一种「角色」被编程设定为近视,那么当计算机在游戏中途改变道路(超出上述「角色」的视力范围)时,ToMnet 可以准确预测到,近视的「角色」更可能坚持原来的路径,而视力好的「角色」则更倾向于调整路径,适应新的情况。

Gopnik 称,该研究以及 ICML 会议上证明 AI 可以根据它们对自己的了解预测其他 AI 智能体行为的另一研究,都是神经网络「惊人」自主学习能力的例证。但是这仍然无法使人工智能体达到人类儿童的同等水平,Gopnik 说道,AI 智能体很可能以接近完美的准确率完成错误信念任务,即使它们之前从未遇到过。

MIT 心理学家、计算机科学家 Josh Tenenbaum 也研究心智理论的计算模型。他认为 ToMnet 在推断信念方面比他团队研发出的系统更高效,后者基于更抽象的概率推论,而不是神经网络。但是 ToMnet 的理解能力与训练所用语境相关性更强,因此它在全新环境中预测行为的能力欠佳,而 Josh Tenenbaum 的系统甚至儿童在这方面做得更好。Josh 称,未来两种方法结合或许会给该领域带来「真正有趣的方向」。

Gopnik 注意到这种具备社交能力的计算机不仅将改善人机合作,还会影响到人机之间的相互「欺骗」。如果一台计算机能够理解错误信念,那它就可能知道如何诱导人类相信它。希望未来的扑克机器人能够掌握 bluff(使诈)的艺术。

论文:Machine Theory of Mind

论文链接:https://arxiv.org/abs/1802.07740

摘要:心智理论(ToM; Premack & Woodruff, 1978)广义上指个体有能力理解他人的心理状态,包括期望、信念和意图。我们提出对机器进行训练,使之也具备这项能力。我们设计了一种心智理论神经网络 ToMnet,它使用元学习通过观察智能体的行为而对它们进行建模。通过该过程,该网络得到一个对智能体行为具备强大先验知识的模型,同时能够利用少量行为观测对智能体特征和心理状态进行更丰富的预测。我们将 ToMnet 应用于在 gridworld 环境中采取行动的智能体,结果表明该网络学会对来自不同群体的智能体进行建模,包括随机、规则系统和深度强化学习智能体等,该网络通过了经典的 ToM 任务,如"Sally-Anne"测试,即意识到他人持有的错误信念。我们认为该系统(自动学习如何对出现在其世界中的其他智能体进行建模)是开发多智能体 AI 系统的重要步骤,可以帮助构建人机交互的中介技术,推进可解释性 AI 的发展。 

原文链接:http://www.sciencemag.org/news/2018/07/computer-programs-can-learn-what-other-programs-are-thinking

理论Deepmind人工智能ICML 2018
11
相关数据
神经网络技术
Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

深度强化学习技术
Deep reinforcement learning

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

人机交互技术
Human-computer interaction

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

元学习技术
Meta learning

元学习是机器学习的一个子领域,是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是,我们如果想使智能体掌握多种技能、适应多种环境,则不应该从头开始在每一个环境中训练每一项技能,而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务,因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法,又叫元学习(meta-learning),是通往可持续学习多项新任务的多面智能体的必经之路。

先验知识技术
prior knowledge

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

机器人学技术
Robotics

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

准确率技术
Accuracy

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

机器之心
机器之心

机器之心编辑

推荐文章
返回顶部