本文翻译自作者博士论文《Desigining Robot Behavior in Human-Robot Interactions》第一章。论文地址：https://escholarship.org/uc/item/8tz6x0t9
人机交互（Human robot interactions, HRI）是未来机器人的关键构成部分，在许多领域有着广泛的应用，如制造业、交通运输、服务业、以及娱乐业。
在工厂里，机器人正在离开它们的笼子，开始与工人们合作。工业制造商们正在柔性生产线中引入协作机器人，这样的人机生产单位可以有效地将人类的灵活性和机器人的高效性结合起来。同时，自动驾驶汽车将彻底改变当今的交通系统和人们的出行方式。但是，当自动驾驶汽车在公路上与人类驾驶的车辆进行交互时，这对道路安全提出了新的挑战。另一个例子是医疗康复领域的外骨骼机器人。这些外骨骼机器人常被用来帮助中风患者重新行走。患者和机器人之间存在密切的物理接触和交互。其他的诸如护理机器人或机器人导盲犬都存在很大的需求，且涉及人机交互。
上述应用对社会和经济有着巨大的影响。未来的机器人将与人类比肩。它们是能够自主决策的独立实体，能与物理世界互动的智能执行器，并且是具有丰富感官和理性批判的观察者。最重要的是，他们能与人类建立社会关系。我们称这样的机器人为协同机器人（Co-Robot）。
当然，设计协同机器人在技术上非常具有挑战性。传统机器人的工作环境是结构化和确定的。而协同机器人需要在高度非结构化和随机环境中运行。最基本的研究问题是：如何保障协同机器人在动态不确定环境中安全且高效地运行。
由于人机交互的广泛性和复杂性，在解决基本问题时需要考虑以下几个方面，下文中会详细阐述。
• 多种互动模式
协同机器人的潜在应用存在于不同的领域，具有不同的交互模式。为各种模式的人机交互应用设计一个统一的模型是必不可少的。该模型可以用来提供对人机交互的全面理解，指导机器人行为的设计，并作为人机系统性能评估的分析框架。
• 行为设计及其软件实现
行为是对内外环境因素刺激所做出的能动反应。我们研究设计机器人行为的方法，即如何在设计范围内（机器人系统的输入和输出）实现设计目标（以确保协同机器人在动态不确定环境中高效安全地运行）。被设计过的行为将以软件代码的形式被保存在机器人硬件中。当环境或任务变得更加复杂时，软件的复杂性将急剧增加。为了确保机器人能及时对环境变化做出反应，并确保机器人在操作过程中的安全性，实时的计算和驱动至关重要。这依赖于高效的算法。
• 复杂人机系统的分析、综合和评估
机器人行为是否设计得当，需要在人机系统中进行评估。评估既可以在理论上进行，也可以在实验上进行。理论分析的难点在于，软件模块之间的耦合大大增加了系统的复杂性。而进行实验的难点在于，当人类作为受试者处在实验环境中，为人类安全起见，系统对失败的耐受性极低。因此，为人机系统开发有效的评估平台至关重要。
1. 交互模式
人与机器人之间的交互可以有各种模式。我们将它分为两种关系：平行关系（Parallel relationship）和层级关系（Hierarchical relationship）。
平行关系
在平行关系中，人和机器人是两个独立的实体，它们各自独立做出决定，在文献中也称为同伴互动（peer-peer interaction）[30]。并行关系的典型示例是：自动驾驶汽车与人开的车之间互动，工业协作机器人和生产线中的工人之间的互动。在这种情况下，机器人（自动驾驶汽车或工业协同机器人）和人（人开的车或工人）是对等的，而不是主从关系。在下图所示的平行关系中，人和机器人的动作有时需要同步（synchronized），比如当人和机器人共同移动一个工件时，有时则需要异步（asynchronized），比如两辆车在过十字路口时，不能同时占用冲突区。我们将同步操作称为协作（collaboration）；将异步操作称为竞争（competition）——总会有一辆车首先通过冲突区域。竞争是最常见的互动模式。如果人类和机器人竞争的资源是空间，竞争可以被理解为避免碰撞。
层级关系
在层级关系中，人或机器人将一部分决策权让渡给了另一方。下面列出了层级关系中的典型示例，如下图所示。
自动驾驶汽车与车内乘客之间的交互，其中人类乘客将驾驶权转移至车辆。
机器人护士和患者之间的交互，其中机器人决定患者的运动轨迹。
人和辅助设备（如外骨骼）之间的交互。人类可以由机器人引导，但也可以“对抗”机器人。
人类驾驶员与驾驶辅助系统之间的交互。驾驶辅助系统可以作为“守护天使” [56] 存在。它允许人类在安全情况下做决策，但它会在紧急情况下接管。另一种辅助系统更像“奴隶系统”。它在安全情况下负责做决策，在紧急情况下要求人类接管。
人类老师与机器人学员之间的交互，例如人类通过示范教授机器人技能。在这种情况下，机器人遵循人类决定的轨迹。
操作员和远程操作机器人之间的交互，其中机器人完全遵循人类的命令。
如以上示例中所讨论的，责任分配因不同层级交互而不同。当人类主宰决策过程时，它又被称为监督式交互 [99]。
上面讲述的是单人和单机器人之间的交互模式，多人和多机器人之间的交互模式可以从这些基本的交互模式中衍生出来。论文的第二章将提出一个多智能体模型，以提供一个统一的框架来分析各种类型的交互，其中个体的人或机器人都将被视为智能体。
2. 设计机器人的行为
我们从物理运动的角度研究行为设计，例如： 如何在交互过程中产生安全高效的运动轨迹。
行为系统三要素
为了生成有效的机器人行为，我们需要
向机器人提供正确的知识，知识包括两个要素，体现任务要求的成本函数，和描述环境动态的世界模型；
设计正确的逻辑策略以让机器人能自主地将知识转化为行动；
设计学习过程以更新知识和逻辑，以使机器人适应未曾预见的环境。
知识，逻辑和学习是行为系统的主要组成部分，如下图所示。在框图中，机器人从有人类参与的环境中获取数据π，并根据逻辑函数g生成动作u，通常而言，这个映射是在世界模型的基础上最小化成本函数计算得到的。学习过程基于数据π更新知识和逻辑。学习模块是非常必要的，因为设计的知识可能无法涵盖所有可能的场景，而且环境可能是随时间变化的。该数学模型将在第二章中进一步说明。
机器人的一生
机器人的一生分为三个阶段：设计阶段，训练阶段和执行阶段，如下图所示。我们将前两个阶段称为离线，将第三个阶段称为在线。
在设计阶段，我们需要为机器人设计上述三要素。在训练阶段，机器人可以从经验或从人类的示范中学习新的知识。从人类示范中学到的知识与人类设计的知识之间的区别在于，前者不需要人类对知识进行数学的或定量的表示。在许多情况下，这种数学表达很难获得并且非常不直观。例如，对人来说，比划一条轨迹比写出一段轨迹的数学函数容易多了。在执行阶段，机器人执行其任务并与其人类同伴进行交互。在执行任务时，机器人可以通过在线学习更新知识或逻辑。然而，由于计算能力的限制，在线学习仅限于小规模的参数自适应。诸如从头学习新技能等结构变化只能通过训练阶段的离线学习来完成。训练阶段和执行阶段可以在永久学习系统（life-long learning）中迭代地执行。机器人也可能直接从设计阶段进入在线执行阶段而无需经过培训阶段。
设计还是学习
知识是行为系统的核心。应该设计多少，应该学习多少，仍然是有争议的 [28]。虽然知识可以学习，但逻辑和学习这两个模块对应的是算法，需要被设计。有三种方法可以获得逻辑g，如下图所示。图中的轮廓表示内部成本。颜色越深，成本越高。而逻辑g是从π到u的映射。
我们可以求解在设计阶段通过优化显式地解出g，如图a中红色曲线所示的精确策略。由于内部成本是非凸的，因此函数g可以是不连续的。
优化也可以在执行阶段在线求解。需要设计算法（例如，梯度下降），使得给定任何观察π，都能算出理想的控制输入。这提供了一个隐含的策略，如图b所示。由于非凸性，在线计算的控制输入u可能仅是局部最优。这两种方法里知识是显式的，因此是基于模型的逻辑。
我们还可以在训练阶段使用参数函数（例如神经网络）来近似策略。首先我们需要一组由（π，u）序列构成的训练数据。然后从训练数据中近似得到函数g，如图c所示。由于不需要明确的知识，这是一个无模型的逻辑。
现有方法在设计上各有不同。我们将这些方法概括为以下四个类别，从自然导向（nature-oriented）到培养导向（nurture-oriented），如下图所示。
类别1（自然导向）：设计者指定成本和模型，设计逻辑以显式地优化成本函数，无需任何学习过程。代表性方法有：基于经典控制和马尔可夫决策过程（MDP）的方法，它们在设计阶段获得精确的策略，例如在柔性机器人关节的控制[63,137] 或安全危急情况下的控制 [49, 152]；模型预测控制（MPC）方法，它们在执行阶段 [26, 90, 94] 计算优化。
类别2（偏自然导向）：设计者指定成本，明确设计逻辑，并用学习过程来识别世界模型。经典自适应控制和自适应MPC属于这一类。这种方法在人机交互中的应用可以在 [46, 81, 98, 121] 中找到。这种方法的优点在于它可以在不确定的、时变的环境中应对自如。尤其是当环境中有人类时，此时系统具有巨大的不确定性及时变性。与此同时，设计者仍然可以通过明确的知识和逻辑设计来控制任务的完成情况。
类别3（偏培养导向）：设计者只是明确地设计逻辑和学习过程。通过反复试错或专家演示，机器人在训练阶段获得知识。代表方法是基于模型的强化学习（reinforcement learning）和反强化学习（inverse reinforcement learning），如学徒学习（apprentice learning） [1, 7, 41]。这种方法在人机交互中的应用可以在 [4, 103, 135] 中找到。该方法的优点是在设计阶段不再需要对任务和环境进行数学建模。
类别4（培养导向）：设计者明确地设计学习过程并使用函数（例如神经网络）来近似逻辑。机器人将在训练阶段获得知识（例如网络中的参数）。与类别3不同，知识不是显式学习的，而是在网络中的隐式编码。代表性方法是深度强化学习（DRL）[100] 和模仿学习（imitation learning） [65]。模仿学习中，除了人类以外，模仿对象可以是类别1至3中的行为系统 [130]。这种方法适用于拥有以下特征的问题：任务和环境极难建模，状态空间太大，实时计算至关重要的情况。
3. 人机系统的评估
人机器人系统的评估可以在理论上和实验上进行。
理论评估
在理论分析中，要回答的问题是：
设计的逻辑是否会在给定成本和模型的情况下找到最优行动？
学习过程会产生收敛的模型序列吗？
设计的成本函数是否能在多智能体系统中触发期望行为？
前两个问题是模块化的。第三个问题是系统方面的问题，它涉及闭环系统的鲁棒性、稳定性和最优性，例如，闭环多智能体系统是否是自组织（self-organized）的 [91]。系统级分析具有很大的挑战性，因为不同智能体之间的交互具有高度复杂性，人类行为常常并不符合假设（如理性人假设），博弈论中现有工具不足以分析次优智能体。在第七章中，我们将探索一种新的方法来分析次优智能体在宏观系统中的性能。
实验评估
对于人机器人系统的实验评估，需要考虑在早期阶段保护人类受试者。基于这样的考虑，我们可以充分利用虚拟现实技术以及远程遥控来在物理上分离人和机器人，同时达到测试的目的。比如下图就是一种利用虚拟现实技术进行人机交互的示例，实验参与者通过VR头盔与虚拟中的机器人进行交互（图片源自AutoDesk）。
结语
随着智能机器人越来越多地出现在人们的生活中，人机交互将会更广泛地发生。同时，有许多问题亟待研究。对这些问题的探索需要多学科的融合和交叉，如工程学科与社会学科的融合，工程学科与脑科学的融合，以及在工程学科内部，机械设计与算法设计的融合，以此创造更好的智能机器人服务大众。与此同时，作为硅基智能体的创造者，炭基智能体也可以此更好地审视自我。
