本文是机器之心《2021-2022 年度 AI 技术趋势发展报告》中算法理论研究篇章关于机器人领域的顶会观察，点击「机器之心2021-2022年度AI技术趋势报告 」，获取报告。
技术趋势分析
首先，2021 年机器人领域的顶会中大量论文聚焦于无模型学习框架。在经典的机器人研究领域中更多的是使用模型强化学习，通过令机器人不断地与外界交互学习，通过数学和拟合模型，最终将收益最大化，从而优化机器人的自身行为。这种方法的优点是能够有效利用数据、学习效率高，缺点则是拟合模型本身存在偏差，往往不能学习到最优解。
无模型学习则是令智能体与环境进行实时交互，以实现收敛得到最优解，其中，不再有拟合的过程，而只是通过交互来优化。这种方法的优点是不会遇到拟合偏差问题，往往能使机器人/智能体达到最优解，缺点则是交互量需要非常的巨大，在真实的物理世界中很难保证，且学习的效率也存在很大问题。顶会中的论文趋势表明，越来越多的研究人员考虑使用无模型框架替代传统的使用拟合模型的经典强化学习方法。
其次，感知领域的方法成为研究热点，感知领域的方法则是认知科学、神经科学等学科在机器人领域中的应用，其根本目的是令智能体像人一样能够通过各种视觉、触觉的经验学习，例如利用皮肤感知、利用指尖感知，改进各类触觉传感器以及引入各类深度图、场景图、3D图等方法。ICRA中的感知相关论文数量远超强化学习等主题，成为了算法/方法类关注度最高的主题。
最后， 与其它顶会不同，机器人领域的顶会更多的关注机器人在实际应用场景中的性能，如野外机器人、人形机器人、应用于医疗领域的机器人、服务机器人等，不同的应用场景中的机器人设计有着很大的不同。而在相关会议中的Demo更多的代表了机器人领域中的研究趋势，例如大量采用无模型框架、引入感知技术等等。
会议整体情况
作为机器人、人工智能以及自动化领域的顶会之一，国际电气与电子工程师学会机器人与自动化会议 (ICRA 2021) 于2021年5月31日至6月4日在西安召开。与人工智能、机器学习其它顶会相比，ICRA除了关注算法/理论的改进外，更多的注重“在真实机器人/场景中发挥积极的作用”。本次大会共接收1950篇论文。
机器人学习会议（The Conference on Robot Learning，CoRL）是一个专注于机器人技术和机器学习交叉领域的年度国际会议。CoRL的会议论文涵盖机器人学、机器学习和控制等多个主题，包括了理论研究和实际应用两个方面。CoRL 2021 于11月8日至11日在英国伦敦和线上同时举行。最终本次大会录用了26篇Oral论文，13篇Blue Sky论文和127篇Poster论文。
奖项情况
ICRA 2021
ICRA 2021评选论文获奖的方式是根据论文不同的应用领域，评选出每个领域中的Best Paper，共计10个领域的10篇文章。此外，还有1篇最佳论文和1个最佳视频演示。具体获奖情况如下：
（1）自动化领域最佳论文奖（Automation）
Automated Fabrication of the High-Fidelity Cellular Micro-Scaffold through Proportion-Corrective Control of the Photocuring Process.
作者：Xin Li, Huaping Wang, Qing Shi, JiaXin Liu, Zhanhua Xin, Xinyi Dong, Qiang Huang and Toshio Fukuda
重现天然细胞外基质（Extracellular matrix，ECM）的人造细胞微支架在研究细胞行为方面显示出巨大的潜力。然而，如何在微支架上高效、准确地再现生理形态，仍然是一个重大挑战。本文提出了一种新的自动制造方法，用比例校正控制算法来实时调节可降解水凝胶的光固化过程，以设计高保真的细胞微支架。本文将数字全息显微镜（digital holographic microscopy，DHM）系统集成到基于数字微镜装置（digital micro-mirror device，DMD）的微加工系统中，以实现对光固化过程的实时检测。在光固化之前，理论上的固化厚度是由经过校准的模型确定的。为了制造出具有高保真形态的微支架，将入射的紫外光分成不同的网格区域，实现局部离散的光固化控制。对于每个局部区域，固化厚度的实时附加值与理论值进行比较，以确定失真度，该失真度由比例校正算法控制的第二步曝光进行校正。最后，该算法有效地将制造精度从200μm提高到50μm。通过长期培养，细胞存活率超过了96%。实验结果验证了所提控制算法的有效性和可行性。
（2）认知机器人学最佳论文奖（Cognitive Robotics）
How to Select and Use Tools?: Active Perception of Target Objects Using Multimodal Deep Learning.
作者：Namiko Saito, Tetsuya Ogata, Satoshi Funabashi, Hiroki Mori and Shigeki Sugano
对于家庭服务机器人来说，能够在执行日常任务时选择适当的工具并使用它们，是衡量机器人可用性的一个关键功能。然而，在以前的研究中，对目标对象的适应性是有限的，因此很难相应地改变工具和调整行动。为了用工具操纵各种物体，机器人必须既了解工具的功能，又能识别物体的特征，以辨别工具—物体—动作的关系。本文聚焦于在机器人与物体互动时使用多模态传感运动数据进行主动感知，并让机器人识别它们的外在和内在特征。本文构建了一个深度神经网络（DNN）模型，该模型可以学习识别物体特征，获得工具-物体-动作的关系，并生成工具选择和处理的动作。作为一个工具使用情况的例子，机器人执行原料转移任务，使用翻转器或杓子将原料从锅中转移到碗中。结果证实，即使在目标成分未知的情况下，机器人也能识别物体特征和服务。本文还研究了图像、力和触觉数据的贡献，并表明学习各种多模态信息会产生丰富的工具使用感知。
（3）人机交互最佳论文奖（Human-Robot Interaction ，HRI）
Reactive Human-To-Robot Handovers of Arbitrary Objects.
作者：Wei Yang, Chris Paxton, Arsalan Mousavian, Yu-Wei Chao, Maya Cakmak and Dieter Fox
在过去的十年里，人与机器人之间的物体交接一直是机器人学的一个重要研究领域。然而，很少有技术和系统能够解决交接具有任意外观、大小、形状和变形性的各种物体的问题。本文提出了一个基于视觉的系统，能够实现人类对机器人的未知物体的反应性交接。该方法将闭环运动规划与实时、时间上一致的抓握生成相结合，以确保反应性和运动的平稳性。该系统对不同的物体位置和方向具有鲁棒性，并且可以抓取刚性和非刚性的物体。作者在一个由26种不同的家用物品组成的新基准集上证明了本文方法的通用性、可用性和稳健性，包括一个由6名参与者递送15种物品子集的用户研究，以及一个检查递送物品的不同方式的系统评估。
（4）机制与设计最佳论文奖（Mechanisms and Design）
Soft Hybrid Aerial Vehicle Via Bistable Mechanism.
作者：Xuan Li, Jessica McWilliams, Minchen Li, Cynthia Sung and Chenfanfu Jiang
无人驾驶飞行器已经成功应用于各种任务中，包括大面积测量和采样任务。这些飞行器可以有多种形式。四旋翼飞机的灵活性和悬停能力使它们很适合在潜在的狭小空间内航行，而固定翼飞机则能够进行长距离的高效飞行。混合动力飞行器（Hybrid aerial vehicles，HAVs）通过展示多种模式来实现这两个好处；然而，变形的HAVs通常需要额外的执行器，这增加了质量，降低了敏捷性和效率。本文提出了一种带有折叠机翼的变形HAV，它同时表现出四旋翼和固定翼模式，而不需要任何额外的驱动力。这是通过利用飞机中心的双稳态机构的运动来实现的，只用现有的电机和系统的惯性来驱动机翼的折叠。作者使用拓扑优化方法对双稳态机制和折叠翼进行优化。使用3D打印机生成由此产生的零件，并连接到现有的四旋翼框架上。本文的原型在两种模式之间成功过渡，实验证明，制造的原型的行为与模拟的行为是一致的。
（5）医疗机器人技术最佳论文奖（Medical Robotics）
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery.
作者：Yonghao Long, Jie Ying Wu, Bo Lu, Yueming Jin, Mathias Unberath, Yunhui Liu, Pheng Ann Heng and Qi Dou
自动手术手势识别对于实现机器人手术的智能认知辅助具有根本性的重要意义。随着近年来机器人辅助微创手术的发展，包括手术视频和机器人运动学在内的丰富信息都可以被记录下来，这为理解手术手势提供了补充知识。然而，现有的方法要么只采用单模态数据，要么直接串联多模态表征，这就不能充分地利用视觉和运动学数据中固有的信息相关性来提高手势识别的准确性。本文提出了一种新颖的多模态关系图网络（multimodal relational graph network，MRG-Net）的方法，通过在潜在特征空间中的交互式信息传播，动态地整合视觉和运动学信息。具体来说，本文首先用时间卷积网络和LSTM单元从视频和运动学序列中提取嵌入。接下来，在这些多模态嵌入中识别多关系，并通过分层关系图学习模块来利用它们。作者在公共JIGSAWS数据集上的实验结果证明了该方法的有效性，实验结果表明该方法在缝合和打结任务上都优于目前的单模态和多模态方法。此外，作者还在使用达芬奇研究组件（da Vinci Research Kit，dVRK）平台收集的内部视觉运动学数据集上验证了该方法，并取得了一致的良好表现。
（6）多机器人系统最佳论文奖（Multi-Robot Systems）
Optimal Sequential Stochastic Deployment of Multiple Passenger Robots.
作者：Chris (Yu Hsuan) Lee, Graeme Best and Geoffrey Hollinger
本文提出了一种在有袋动物机器人系统中部署乘客机器人的新方法。一个有袋动物机器人系统包括一个能力强、任务时间长的载体机器人（如地面飞行器），以及至少一个由载体运输的乘客机器人（如短时空中飞行器）。本文提出了一种优化乘客机器人的部署性能的算法，该算法通过利用环境中感兴趣的特征的先验概率分布信息来解释不确定性。该算法表征为一个顺序随机分配问题（sequential stochastic assignment problem，SSAP）的解决方案。该算法的关键特征是一个递归关系，它定义了一组用于决定何时部署乘客机器人的观察阈值。该算法在O(NR)时间内计算出最佳策略，其中N是部署决策点的数量，R是要部署的乘客机器人的数量。作者对来自DARPA地下挑战的真实数据进行了无人机部署探索实验，以测试SSAP算法。实验结果表明，本文提出的部署算法优于其他竞争算法，如经典的秘书方法和基线分区方法，其性能能够与离线oracle算法相媲美。
（7）机器人操控领域最佳论文奖（Robot Manipulation）
StRETcH: A Soft to Resistive Elastic Tactile Hand.
作者：Carolyn Matl, Josephine Koe and Ruzena Bajcsy
软性光学触觉传感器通过捕捉重要的特征，如高分辨率的接触几何学和对物体顺应性的估计，使机器人能够操纵可变形的物体。本文提出了一个称为StRETcH的可变刚度软触觉终端执行器，即软阻弹性触觉手，该执行器易于制造并与机器人手臂集成。将一个弹性膜悬挂在两个机器人手指之间，其上的一个捕捉弹性膜变形的深度传感器能够对接触的几何形状进行亚毫米级的精确估计。平行钳通过单轴拉伸来改变膜的硬度，这可以控制地调节StRETcH的有效模量，从大约4kPa到9kPa。本文实验中使用RETcH技术重建刚性和可变形物体的接触几何形状，估计四个充满不同物质的球体硬度，并控制面团成为指定的形状。
（8）机器人视觉最佳论文奖（Robotic Vision）
Interval-Based Visual-LiDAR Sensor Fusion.
作者：Raphael Voges and Bernardo Wagner
由于相机和光探测和测距（Light Detection and Ranging，LiDAR）传感器能够提供关于环境的互补信息，通过将LiDAR测量的距离分配给图像中检测到的视觉特征，有利于移动机器人的定位。然而，现有的方法忽视了融合信息的不确定性，或者以乐观的方式对其进行建模（例如，不考虑外在的校准误差）。由于传感器融合过程中误差的实际分布往往是未知的，假设只知道包围误差的边界（或区间）。因此，本文提出使用区间分析以一种直接的方式将误差从输入源传播到融合信息中去。为了验证本文方法的适用性，作者使用融合的信息来进行dead recokoning。由于使用了区间分析，本文方法给出的结果是保证包围机器人的真实姿态的区间。使用真实数据进行的评估表明，本文方法确实能够以一种有保障的方式对机器人进行定位。
（9）服务型机器人最佳论文奖（Service Robotics）
Compact Flat Fabric Pneumatic Artificial Muscle (ffPAM) for Soft Wearable Robotic Devices.
作者：Woojong Kim, Hyunkyu Park and Jung Kim
气动人造肌肉（pneumatic artificial muscle，PAM）已被广泛采用于各种可穿戴的应用中，但致动器的体积和反应缓慢仍是一个问题。本文提出了一种扁平织物PAM（flat fabric PAM，ffPAM），实现了高紧凑性、快速响应和低滞后误差。该ffPAM在172kPa时施加的最大力为118.0 N ± 0.1 N，平均最大收缩率为23.84% ± 0.06%，最大滞后误差为6.2%。基于动态响应实验，ffPAM被验证具有0.0318秒±0.0012秒的收缩响应时间，以及超过4赫兹的带宽。此外，在10,000次循环中保持了最大的收缩长度。此外，本文嵌入了一个基于织物的软性收缩传感器来测量收缩。本文验证了嵌入式电容式收缩传感器的电容与恒定压力下的收缩长度有线性关系。为了强调ffPAM在实际可穿戴应用中的紧凑性，将执行器放在两腿之间，并将其紧凑性与以前的PAM进行了比较。
（10）无人驾驶飞行器最佳论文奖（Unmanned Aerial Vehicles）
Aerial Manipulator Pushing a Movable Structure Using a DOB-Based Robust Controller.
作者：Dongjae Lee, Hoseong Seo, Inkyu Jang,Seung Jae Lee and H. Jin Kim
本文论述了一个空中操纵器推动一个可移动结构的问题。与静态结构的物理相互作用相反，需要适当考虑结构运动过程中的相互作用力，以稳定地进行这种可移动结构的相互作用。为了完成推动结构的任务，同时确保空中操纵器的稳定性，本文提出了一种基于非线性干扰观察者（disturbance-observer，DOB）的稳健控制方法，将交互力视为系统的干扰。此外，为了利用所提出的控制器来推动一个可移动的结构，本文提出了一种算法来生成一个末端执行器的位置参考，从而在现实情况下实现安全操作。
最佳会议论文：
Extrinsic Contact Sensing with Relative-Motion Tracking from Distributed Tactile Measurements.
作者：Daolin Ma, Siyuan Dong, Alberto Rodriguez
本文讨论了未知的被抓取的刚性物体与环境（即机器人的外在因素）的接触定位问题。本文探讨了分布式触觉传感在定位机器人外部触点方面所起的关键作用，与聚合式力/扭矩测量在定位机器人上的触点方面所起的作用形成对比。当与环境接触时，一个物体将按照该接触所施加的运动学和可能的摩擦学约束进行运动。用触觉传感器可以观察到的物体的小动作，间接编码了这些约束和定义它们的几何图形。本文将外在的接触感应问题表述为基于约束的估计。该估计受制于物体运动的触觉测量所施加的运动学约束，以及刚体力学所施加的运动学（如非穿透）和可能的摩擦（如粘着）约束。本文通过模拟实验验证了该方法，并在定点和直线接触的实际案例中进行了实验验证。本文讨论了分布式触觉传感价值的理论基础，与聚合式力/扭矩测量形成对比。此外，还提供了一个估计框架，用于定位在装配或包装等接触多的操纵场景中具有潜在影响的环境接触。
最佳视频演示：
Merihan Alhafnawi at the Robot Swarms in the Real World workshop.
CoRL 2021
与其它人工智能、机器学习顶会相比，CoRL除了关注论文中算法的改进，更关注实际场景/机器人中的应用效果。因此，CoRL公布了1篇获奖论文、1篇获奖系统论文和11个机器人项目。
CoRL 2021 的最佳论文奖颁发给了 MIT CSAIL 团队的《A System for General In-Hand Object Re-Orientation》。作者为两位 MIT 博士生 Tao Chen（陈涛）、Jie Xu （徐捷）和 MIT的助理教授 Pulkit Agrawal。
论文出发点
这篇获奖论文关注的是机器人中“灵巧手”的问题。目前，灵巧手在机器人领域中还属于未彻底研究的内容，但对于很多工业场景来说都非常需要一个具有灵巧手的机器人，如物流打包、家庭服务机器人等。由于高维的执行空间和手指与物体之间接触状态的频繁变化，手部物体的重新定位一直是机器人技术中的一个挑战性问题。
解决思路
作者提出了一个简单的无模型框架，可以学习在手朝上和朝下的情况下调整物体的方向。文中展示了在这两种情况下对超过2000个不同几何形状的物体进行重新定位的能力。应用于新物体时，通过本文提出的无模型框架学到的策略显示了出强大的零点转移性能，作者证明了这些策略可以在现实世界中操作，通过提炼它们来使用现实世界中容易获得的观察结果。
思路关键点
首先，为了避免对物体和手之间接触状态的非线性和频繁变化进行明确建模（这些变化会导致最终的高维度控制系统问题），作者使用了无模型强化学习，这种方法跳过了建模的过程，直接从原始点云观测中进行操作，这种操作方法更适合于现实世界的应用场景。作者发现，使用特权状态信息，如物体/指尖的速度，可以更快地训练出更好的策略，这些信息在模拟器中很容易获得，但在现实世界中却无法获得。为了证明在未来将学到的政策迁移到现实世界的可能性，以使框架能够应用于没有大量辅助信息的场景中，作者引入teacher-student训练来解决对特权信息的需求，即通过知识蒸馏方法帮助控制器进行学习。此外，作者还训练框架学习重力课程，以使得它在不知道物体形状的情况下能够任意转动物体。
CoRL 2021 最佳系统论文奖则授予了哥伦比亚大学的研究成果《FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding》。这篇获奖论文的作者 Huy Ha 是哥伦比亚大学计算机科学系博士生，导师 Shuran Song 是哥伦比亚大学计算机科学系助理教授。
论文出发点
高速动态动作（如抛掷或投掷）在我们与可变形物体的日常互动中起着至关重要的作用，它提高了我们的效率并有效地扩大了我们的物理接触范围。然而，大多数先前的工作都是完全使用单臂准静态动作来解决布的操纵问题，这需要大量的互动来实现具有挑战性的初始布的配置，并通过机器人的触及范围严格限制最大布的尺寸。
解决思路
在这项工作中，作者提出了一个自监督学习框架FlingBot，并证明了动态甩动动作对布的展开的有效性。该方法从视觉观察中学习如何使用双臂设置的拾取、拉伸和翻转基元从任意初始配置中展开一块织物。
取得成果
最终系统在3个动作内实现了对新布的超过80%的覆盖，可以展开大于系统覆盖范围的布。并且，在只在矩形布料上进行训练的情况下，该方法仍能推广到T恤衫上，继而可以用在叠取衣物的工作中。作者还在真实世界的双臂机器人平台上对 FlingBot 进行了微调，使得它比准静态基线增加了 4 倍以上的布料覆盖率。FlingBot的简单性与它比准静态基线更优越的性能相结合，证明了动态动作对可变形物体操纵的有效性。
对于实战性强的机器人研究领域来说，11个机器人项目更能反映出机器人领域的研究趋势。
在11个项目中，有4项是与四足机器狗相关的，具体为2、4、7和10。其中，2、4、7为瑞士ANYbotics的ANYmal，10为杭州宇树科技的A1。这些项目中机器狗都能够感知外部环境，调整切换运动步态，从而改进行进水平同时最小化能量消耗。此外，它们都应用的是无模型强化学习（与最佳论文中的方法类似），无模型强化学习也是腿部机器人运动控制器中最常用的效果最好的方法。第1和3这两个项目是机器人视觉领域的项目，而6、8和9则是机器人触觉领域的项目，这5个项目都属于机器人感知领域的研究。项目5是模仿学习在机械臂运动规划中的应用。项目11则是模仿学习在机器人长期目标学习中的应用。
发表论文作者相关数据情况
ICRA 2021的1950篇论文共涉及6158名作者（经过简单的同名识别处理），录取论文数量最多的作者及相应论文数量情况见下表。其中，来自瑞士苏黎世联邦理工学院的Roland Siegwart共有19篇文章被ICRA 2021接收，来自香港大学的Ming Liu和来自瑞士苏黎世联邦理工学院的Marco Hutter分别有14篇文章接收，共有18名作者有9篇以上的论文接收（含9篇）。
Roland Siegwart是瑞士苏黎世联邦理工学院全职教授，并担任苏黎世怀斯大学的创始联合主任。Roland Siegwart教授的研究兴趣是在复杂和高度动态环境中运行的机器人系统的设计和控制。他的主要目标是找到处理不确定性的新方法，并使高度互动和自适应的自主机器人的设计成为可能。他的突出应用实例包括个人和服务机器人、自主微型飞机、行走和游泳机器人以及驾驶助理系统。此外，他还是瑞士创新和创业的有力推动者。
Ming Liu为香港科技大学电子与计算机工程系副教授。刘明的研究兴趣包括动态环境建模、3D绘图、机器学习和视觉控制。他特别关注于解决移动机器人测绘和导航问题的新型实时在线方法的研究。
Marco Hutter是瑞士苏黎世联邦理工学院机器人学助理教授，为布兰科·维斯研究员，也是ANYbotics公司的创始人。他专门研究开发四足机器人，其中一些可以自主操作。他旨在应用新的机器学习方法来提高机器人的机动性，并为它们在极其困难的地形中自主运动做准备。在未来，这些机器人可以接替人类的肮脏和危险的任务，例如在灾区、下水道和矿井，或在海上平台。
点击「机器之心2021-2022年度AI技术趋势报告 」，获取报告。已获得「机器之心Pro 会员」全功能账号权限的用户可直接下载查看。如您还没有「机器之心Pro会员」，扫描下方二维码关注「机器之心Pro」服务号（id：almosthuman2014pro），进入服务号主页，点击对话框，编辑发送「机器之心Pro会员」咨询，客服值班时间为工作日的10:00 - 19:00。
