2022/07/14 16:35

朱松纯团队作者

朱松纯团队新作：让AI「读懂」人类价值观！登上Science Robotics

今日（7月14日），国际顶级学术期刊<Science Robotics >发表了朱松纯团队（UCLA袁路遥、高晓丰、北京通用人工智能研究院郑子隆、北京大学人工智能研究院朱毅鑫等作者）的最新研究成果——实时双向人机价值对齐 Bidirectional human-robot value alignment。

论文地址：https://www.science.org/doi/10.1126/scirobotics.abm4183

本论文提出了一个可解释的人工智能（XAI）系统，阐述了一种机器实时理解人类价值观的计算框架，并展示了机器人如何与人类用户通过实时沟通完成一系列复杂人机协作任务。朱松纯团队长期从事可解释人工智能相关工作。此文是团队第二篇发表在 Science Robotics 的关于可解释人工智能的论文。这项研究涵盖了认知推理、自然语言处理、机器学习、机器人学等多学科领域，是朱松纯教授团队交叉研究成果的集中体现。

在这个人机共存的时代，为了让机器更好地服务于人类，理想的人机协作应该是什么样的？我们不妨借鉴一下人类社会的协作，在人类团队合作过程中，共同的价值观和目标是保证团队之间齐心协力、高效合作的基础。当前机器智能大多数基于数据驱动（且很多情况下获取不了数据）、且是单方面接受人类指令（一种是人类观测受限的情况下是没法给到指令的）

为了解决上述问题，以及为了让机器能够进行更好地 “自主” 探索，我们要让机器学会 “读懂” 人类价值观，因此我们提出 “实时双向价值对齐”。这就要求人类要想办法一次次地给到 AI 反馈，逐渐地教会 AI“读懂” 人类的价值观，也就是让机器和人类的 “价值观” 保持一致。

这个问题也被称为价值对齐（value alignment），即如何保证人工智能在执行任务过程中所实现的价值和用户所在意的价值是一致的？

可以说，价值对齐是人机协作过程中达成共识（common ground）的基础，具有非常重要的研究价值。价值对齐也是未来的一个重要发展方向，是让机器实现 “自主智能” 的关键所在，也是实现通用人工智能的必经之路。鉴于此，北京通用人工智能研究院院长朱松纯团队一直在致力于此方向的研究。

一、研究背景

理想的人机协作应该是什么样的？在人工智能发展方兴未艾之时，控制论之父诺伯特 - 维纳（Norbert Wiener）就提出了人机协作的基础：

“如果我们使用一个机器来实现我们的目标，但又不能有效地干预其运作方式... 那么我们最好能笃定，输入给机器的目标是我们真正所预期的。”

近几年来，一系列研究进展都表明：高效的人机协作依赖于团队之间拥有一致的价值观、目标，以及对任务现状的理解。这就要求人类通过与机器的沟通来高效地建立整个团队对任务的共识，每个团队成员都采取其他伙伴更容易理解的行为决策来完成协作。在大多数情况下，队友之间的沟通过程都是双向的，即每个成员都要扮演着倾听者和表达者两种角色。这样的双向价值对齐决定了人机协作中的沟通是否能够成功，即机器人是否能准确地推断出用户的价值目标，并有效地解释自己的行为。如果这两个条件没有得到满足，队友间彼此的不理解和误判很可能会导致协作失败。因此，想要使人工智能更好地服务于人类社会，必须让它们在与人类互动时扮演好这两种角色。

从倾听者的角度来看，传统人工智能算法（如逆强化学习（IRL）等）能够将交互数据与机器学习算法相结合，以学习特定任务中用户的价值目标，即通过输入用户在特定任务中的行为方式，来恢复行为背后的奖励函数。然而，在众多实际且重要（如军事和医疗领域）的应用中，数据的获取经常十分昂贵。这些机器学习方法对大型数据集的依赖是无法应对即时互动的人机协作场景的。

从表达者的角度来看，可解释人工智能（XAI）的引入是为了促进人机之间达成共识。当前的 XAI 系统通常强调的是对 “模型如何产生决策过程” 的解释。然而，不管用户有多少主动的输入或互动，都只能影响机器 “生成解释” 的过程，而不影响机器 “做出决策” 的过程。这是一种单向的价值目标对齐，我们称之为静态机器 - 动态用户的交流，即在这种协作过程中只有用户对机器或任务的理解发生了变化。

二、研究方法

为了完成人与机器之间价值目标的双向对齐，需要一种人类价值主导的、动态机器 - 动态用户的交流模式。在这样一种新的模式中，机器人除了揭示其决策过程外，还将根据用户的价值目标即时调整行为，从而使机器和人类用户能够合作实现一系列的共同目标。为了即时掌握用户信息，我们采用通讯学习取代了传统数据驱动的机器学习方法，机器将根据所推断出的用户的价值目标进行合理解释。这种合作导向的人机协作要求机器具有心智理论（ToM），即理解他人的心理状态（包括情绪、信仰、意图、欲望、假装与知识等）的能力。心智理论最早在心理学和认知科学中被研究，现已泛化到人工智能领域。心智理论在多智能体和人机交互环境中尤为重要，因为每个智能体都要理解其他智能体（包括人）的状态和意图才能更好地执行任务，其决策行为又会影响其他智能体做出判断。设计拥有心智理论的系统不仅在于解释其决策过程，还旨在理解人类的合作需求，以此形成一个以人类为中心、人机兼容的协作过程。

为了建立一个具有上述能力的 AI 系统，本文设计了一个 "人机协作探索" 游戏。在这个游戏中，用户需要与三个侦察机器人合作完成探索任务并最大化团队收益。本游戏设定：1、只有侦察机器人能直接与游戏世界互动，用户不能直接控制机器人的行为；2、用户将在游戏初始阶段选择自己的价值目标（例如：最小化探索时间，收集更多的资源，探索更大的区域等），机器人团队必须通过人机互动来推断这个价值目标。这样的设置真实地模仿了现实世界中的人机合作任务，因为许多 AI 系统都需要在人类用户的监督下，自主地在危险的环境中运行（如在核电站有核泄漏的情况下）。

要成功地完成游戏，机器人需要同时掌握 “听” 和“说”的能力来实现价值双向对齐。首先，机器人需要从人类的反馈中提取有用的信息，推断出用户的价值函数（描述目标的函数）并相应地调整它们的策略。其次，机器人需要根据它们当前的价值推断，有效地解释它们 "已经做了什么" 和 "计划做什么"，让用户知道机器人是否和人类有相同的的价值函数。同时，用户的任务是指挥侦查机器人到达目的地，并且使团队的收益最大化。因此，用户对机器人的评价也是一个双向的过程，即用户必须即时推断侦察机器人的价值函数，检查其是否与人类的价值函数相一致。如果不一致，则选择适当的指令来调整他们的目标。最终，如果系统运行良好，侦察机器人的价值函数应该与人类用户的价值函数保持一致，并且用户应该高度信任机器人系统自主运行。

图 1. 人机价值对齐过程总览。

图 1 介绍了游戏中的双向价值调整过程。在游戏互动过程中，存在着三个价值目标，分别是

：用户的真实价值；

机器人对用户价值的估计（在游戏中，侦察机器人没有自己的价值，所以他们以人类用户价值的估计为依据采取行动）；

用户对机器人价值的估计。基于这三个价值目标产生了两种价值对齐——

：机器人从用户给出的反馈中学习用户的价值；

: 用户从机器人给出的解释和互动中了解机器人的价值。最终，三种价值目标将汇聚于

，人 - 机团队将形成相互信任和高效的协作。

本文提出的 XAI 系统旨在共同解决以下两个问题：

1. 在即时互动和反馈过程中，机器如何准确估计人类用户的意图？

2. 机器如何解释自己，以便人类用户能够理解机器的行为，并提供有用的反馈来帮助机器做出价值调整？

在本文提出的系统中，机器人提出任务计划的建议，并要求人类用户给出反馈（接受或拒绝建议），从人类反馈中推断出任务目标背后人类真实的价值意图。在协作游戏中，如果用户知道机器人正在积极学习他的价值目标，那么用户就会倾向于提供更加有用的反馈，以促进价值保持对齐。特别地，每条信息都传达了两方面的意义，包括（1）基于价值目标的语义信息和（2）基于不同解释方式之间区别的语用信息。利用这两方面的含义，XAI 系统以一种多轮的、即时的方式展示了价值的一致性，在一个问题搜索空间大的团队合作任务中实现了高效的人机互动交流。为了使机器人的价值目标与用户保持一致，XAI 系统生成解释、揭示机器人对人类价值的当前估计、并证明提出规划的合理性。在每一步的互动中，为了避免解释内容过于冗长，机器人会提供定制化的解释，比如省略重复的已知信息并强调重要的更新。在收到机器人的解释并向它们发送反馈后，用户向机器人提供提示，说明他们对最新建议和解释的满意程度。利用这些反馈，机器人会不断地更新解释的形式和内容。

为了评估本文 XAI 系统的性能，我们邀请了人类用户进行了一系列实验，以此考察人类 - 机器双向价值协调是否成功。我们采用了三种类型的解释，并将用户随机分配到三组中的一组。实验结果表明，我们所提出的 XAI 系统能够以有效地实现即时双向的价值对齐，并用于协作任务；机器人能够推断出人类用户的价值，并调整其价值估计被用户所理解。此外，有必要进行多样化的解释，以提高机器的决策性能和它们的社会智能。合作式的人工智能的目标是减少人类的认知负担，并协助完成任务，我们相信，主动即时推断人类的价值目标，并促进人类对系统的理解，将会为通用智能体的人机合作铺平道路。

三、游戏设置

如图 2 所示，在我们设计的合作游戏中，包含一个人类指挥官和三个侦察机器人。游戏的目标是需要在一张未知的地图上找到一条从基地（位于地图的右下角）到目的地（位于地图的左上角）的安全路径。该地图被表示为一个部分可见的 20×20 网格图，每个格子都可能有一个不同的装置，只有在侦察机器人靠近它之后才可见。

在游戏中，人类指挥官和侦察机器人具有结构性的相互依赖关系，一方面人类指挥官需要依靠侦察机器人探索危险区域并排除爆炸物，另一方面，侦察机器人需要依赖人类指挥官提供的反馈更好地理解当前任务的目标。

图 2：侦察探索游戏的用户界面。从左到右，图例面板显示游戏地图中的图例。价值函数面板显示这局游戏的价值函数，侦察机器人不知道这个函数，用户也不能修改。中心地图显示当前地图上的信息。分数面板显示了用户的当前分数。总分的计算方法是将各个目标的分数用价值函数加权后的总和。状态面板显示系统的当前状态。提议面板显示侦察机器人当前的任务计划提议，用户可以接受 / 拒绝每个建议。解释面板显示侦察机器人提供的解释。

我们为侦察机器人制定了在寻找到路径时额外的一系列目标，包括 1）尽快到达目的地，2）调查地图上的可疑装置，3）探索更大的区域，以及 4）收集资源。游戏的表现是由侦察机器人完成这些目标的情况和它们的相对重要性（权重）来衡量的，其中的权重就是人类用户的价值函数。例如，如果人类指挥官更注重时效而不是获取更多的资源，那么侦察机器人则应该忽略沿途上的部分资源以保证尽快到达目的地。（注，这个价值函数只在游戏开始时向人类用户透露，而不对侦察机器人透露。图 3 总结了人机互动的流程。）

在不清楚人类指挥官价值取向的情况下，机器人侦察兵小队必须快速推断出人类的价值判断，在每一步行动中，机器人侦察小队每一个成员都要给出下一步行动方案，由人类指挥官选择。为了帮助指挥官进行决策，侦察机器人小队将解释行动方案的依据。结合指挥官的反馈，以往的互动历史和当前的地图情况，侦察机器人小队将调整其对指挥官当前价值观的判断，并采取相应的行动。

图 3：侦查探索游戏的设计。时间线（A）表示在一轮游戏中发生的事件，从机器人收到环境信号开始，到它们的下一步动作结束。时间线（B）和（C）分别描述了机器人和用户的心智变化过程。

四、即时双向价值对齐模型

为了估计人类指挥官在通信过程中的价值函数，我们将两个层次的心智理论整合到我们的计算模型中。第 1 层心智理论考虑合作性假设。也就是说，给定一个合作的人类指挥官，被他接受的来自机器人的提议，更有可能与正确的价值函数相一致。第 2 层心智理论进一步将用户的教育方法纳入模型，使机器人更接近人类指挥官真实价值的反馈比其他反馈更容易被人类指挥官选择。建模人类指挥官的教育倾向（pedagogical inclination）需要更高一层的心智理论。结合这两个层次的心智理论，我们将人类指挥官的决策函数写成一个由价值函数参数化的分布，并开发出一种新的学习算法。

值得注意的是，与我们的人机合作框架有可比性但不同的方法是逆强化学习。逆强化学习的目的是在一个被动的学习环境中，根据预先录制的、来自专家的演示（demonstration）来恢复底层的奖励函数（reward function）。与之不同的是，在我们的环境中，侦察机器人被设计为从人类指挥官给出的稀缺监督中进行交互学习。更重要的是，我们的设计要求机器人在任务进行的过程中即时地、主动地推断人类指挥官的价值。此外，为了完成合作，侦察机器人不仅必须迅速理解人类指挥官的意图，还要阐明自己的决策依据，以确保在整个游戏过程中与人类指挥官顺利沟通。总体来看，机器人的任务是通过推断人类用户的心智模型，积极提出建议，并评估人类用户的反馈来进行价值调整。这些都需要机器对人类用户进行复杂的心智建模，并具有即时更新模型的能力。

五、总结

本文提出的 XAI 系统成功地证明了双向人机价值对齐框架的可行性。从倾听者的角度来看，所有三个解释组中的机器人都可以在游戏进度达到 25% 时，通过对至少 60% 的目标重要性进行正确排序，快速与用户的价值进行对齐。从表达者的角度来看，通过提供适当的解释，机器人可以向用户说明其意图，并帮助人类更好的感知机器人的价值，当给机器提供”完整解释 “时，只需在游戏进度达到 50% 时即可实现人类用户价值与机器人价值的统一，而当只提供” 简要解释“时，游戏进度需要达到 75% 时才能完成价值的统一。

我们从上述两个角度得到了令人信服的证据，实现了双向价值对齐的过程，具体来说：

1. 通过接收人类的反馈，机器人逐渐更新其价值函数来与人类的价值保持一致；

2. 通过不断地与机器人交互，人类用户逐渐形成对系统能力和意图的感知。虽然机器人系统的价值在游戏的上半场没有与人类用户实现统一，但用户对机器人价值评估能力的感知仍然可以提高。

最终，当机器人的价值变得稳定时，用户对机器人的评估也变得稳定。从机器人对用户价值的评估到用户价值的真实值，以及从用户对机器人价值的评估到机器人当前价值的收敛配对，形成了由用户真实价值锚定的双向价值对齐。

总的来说，我们提出了一个双向人机价值对齐框架，并使用 XAI 系统验证其可行性。我们提出的 XAI 系统表明，当把心智理论集成到机器的学习模块中，并向用户提供适当的解释时，人类和机器人能够通过即时交互的方式实现心智模型的对齐。我们提出的计算框架通过促进人和机器之间共享心智模型的形成，为解决本文的核心问题 "理想的人机协作应该是什么样的？" 提供了全新的解答。

在这个游戏任务中，我们的工作侧重于以价值和意图为核心对心智进行建模，对齐这些价值可以极大地帮助人类和机器为面向任务的协作建立共同基础，使其可以胜任更加复杂的场景何任务。因此，我们的工作是在人机协作中朝着更通用的心智模型对齐迈出的第一步。在未来的工作中，我们计划探索哪些因素能够进一步增强人类用户信任（例如，允许对机器人进行反事实查询），验证 "对齐" 对任务性能的影响，并将我们的系统应用于涉及更复杂环境和价值函数的任务。

理论人机交互Science朱松纯

相关数据

朱松纯人物

朱松纯是全球著名计算机视觉专家，统计与应用数学家、人工智能专家，现任美国加州大学洛杉矶分校 [UCLA] 统计系与计算机系教授，UCLA计算机视觉、认知、学习与自主机器人中心主任。

来源：https://baike.baidu.com/item/%E6%9C%B1%E6%9D%BE%E7%BA%AF 朱松纯

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

控制论技术

控制论是一门跨学科研究，它用于研究控制系统的结构，局限和发展。在21世纪，控制论的定义变得更加宽泛，主要用于指代“对任何使用科学技术的系统的控制”。由于这一定义过于宽泛，许多相关人士不再使用“控制论”一词。控制论与对系统的研究有关，如自动化系统、物理系统、生物系统、认知系统、以及社会系统等等。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

人机交互技术

人机交互，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。

来源：维基百科

通用人工智能技术

通用人工智能（AGI）是具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标，也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI（strong AI）或者完全AI（full AI），或称机器具有执行通用智能行为（general intelligent action）的能力。与弱AI（weak AI）相比，强AI可以尝试执行全方位的人类认知能力。

来源：wikipedia

可解释的人工智能技术

一个可以解释的AI（Explainable AI, 简称XAI）或透明的AI（Transparent AI），其行为可以被人类容易理解。它与机器学习中“ 黑匣子 ” 的概念形成鲜明对比，这意味着复杂算法运作的“可解释性”，即使他们的设计者也无法解释人工智能为什么会做出具体决定。 XAI可用于实现社会解释的权利。有些人声称透明度很少是免费提供的，并且在人工智能的“智能”和透明度之间经常存在权衡; 随着AI系统内部复杂性的增加，这些权衡预计会变得更大。解释AI决策的技术挑战有时被称为可解释性问题。另一个考虑因素是信息（信息过载），因此，完全透明可能并不总是可行或甚至不需要。提供的信息量应根据利益相关者与智能系统的交互情况而有所不同。

来源：Wiki