多任务上实现SOTA,UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络
理解对象是计算机视觉的核心问题之一。传统方法而言,理解对象任务可以依赖于大型带注释的数据集,而无监督方法已经消除了对标签的需求。近来,研究人员试图将这些方法扩展到 3D 点云问题上,但无监督 3D 学习领域却进展寥寥。近日,包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等来自英属哥伦比亚大学、谷歌研究院、多伦多大学的研究者提出了用于 3D 点云的无监督胶囊网络。Hinton 对此表示:在不受监督的情况下找到一个对象的自然组件以及这些组件的内在参照系是学习将解析图像转换为局部整体层级结构的重要一步。如果以点云开始,则可以做到。具体而言,研究者通过排列等变(permutation-equivariant)的注意力计算对象的胶囊分解,并通过训练成对的随机旋转对象来自监督该过程。本研究的核心思想是将注意力掩模聚合为语义关键点,并使用它们来监督满足胶囊不变性或等方差的分解。这不仅可以训练语义上一致的分解,还能够学习以对象为中心的推理的规范化操作。在这种情况下,既不需要分类标签,也不需要手动对齐的训练数据集进行训练。最后,通过以无监督的方式学习以对象为中心的表征,该方法在 3D 点云重构、配准和无监督分类方面优于 SOTA 方法。研究者表示将很快公布源代码和数据集。