基础模型 (Foundation Models) 已经在过去几年里重塑了自然语言处理 (NLP) 和计算机视觉 (CV) 研究的格局,那么基础模型能为机器人带来怎样的可能性?这篇综述或许有你想要的答案。
![图片](https://image.jiqizhixin.com/uploads/editor/0d9cd08e-515b-4372-9e34-493f347e75ac/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/cae64259-7879-4bcb-82f0-7f110c980b9d/640.png)
机器人的主要组件可分为感知、决策和规划、动作生成三大部分。该团队将机器人感知分为被动感知、主动感知和状态估计。 在机器人决策和规划部分,研究者分经典规划方法和基于学习的规划方法进行了介绍。 机器的动作生成也有经典控制方法和基于学习的控制方法。
![图片](https://image.jiqizhixin.com/uploads/editor/910dbef5-2d3e-4d4f-9fb1-6794869280d3/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/4f09f61b-f8e9-4724-878c-12c3077ecb6a/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/2385fe2f-47fa-4f7b-99c3-ad60e9753aed/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/21fac242-d461-4d80-b838-514ac4de5a41/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/f7e0c622-97fc-42ef-bdce-5139b0d98c28/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/1fcc2e75-5c3b-453c-a738-8df93d2df413/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/f3969c3b-d2b8-4fa4-870b-5dc48d05e916/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/cd311e43-6d7f-44f1-809c-dd5ef1b48193/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/ef6f99bd-c447-4700-a8c5-ec1c0e2096d1/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/0bf9d0a4-6b72-497b-b4d8-09d5ad304cce/640.png)
如何为机器人具身设定标准基础(grounding)? 安全(Safety)和不确定性(Uncertainty)? 端到端方法(end-to-end)和模块化(Modular)方法是否无法兼容? 对具身的物理变化的适应能力 世界模型(World Model)方法还是与模型无关的方法? 新型机器人平台和多感官信息 持续学习(Continue Learning) 标准化和可复现能力(Reproducibility)