AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
论文标题: SpatialBot: Precise Depth Understanding with Vision Language Models 论文链接: https://arxiv.org/abs/2406.13642 项目主页: https://github.com/BAAI-DCAI/SpatialBot
现有模型无法直接理解深度图输入。比如,图像编码器 CLIP/SigLIP 在 RGB 图像上训练,没有见过深度图。 现有大模型数据集,大多仅用 RGB 就可以分析、回答。因此,如果仅仅简单的将现有数据改为 RGBD 输入,模型不会主动到深度图中索引知识。需要专门设计任务和 QA,引导模型理解深度图、使用深度信息。
在 low level 引导模型理解深度图,引导从深度图直接获取信息; 在 middle level 让模型将 depth 与 RGB 对齐; 在 high level 设计多个深度相关任务,标注了 50k 的数据,让模型在理解深度图的基础上,使用深度信息完成任务。任务包括:空间位置关系,物体大小,物体接触与否,机器人场景理解等。
直接理解深度图,让模型看深度图,分析深度的分布,猜测其中可能包含的物体; 空间关系理解和推理; 机器人场景理解:描述 Open X-Embodiment 和本文收集的机器人数据中的场景、包含的物体、可能的任务,并人工标注物体、机器人的 bounding box。