2020/12/10 16:06

性能SOTA、适用多种类型物体，国防科技大学单张RGB-D图像预测物体对称性

在这篇论文中，来自国防科技大学和普林斯顿大学的研究者提出了一种面向单张 RGB-D 图像的对称检测网络 SymmetryNet。实验结果表明，该检测网络显著优于其它已有方法，性能达到了 SOTA，尤其是在没有训练过的物体上优势明显。此外，SymmetryNet 能够准确地检测出多种不同物体的对称性，包括被遮挡的物体、包含多个对称面的物体等。

作为大多数物体的基本几何属性，对称性广泛存在于我们的生活中。理解物体的对称性是计算机理解真实世界以及机器人智能交互中的重要问题。因此，对称性检测在图像分割、物体检测以及机械臂抓取等任务中有着广泛的应用前景。

三维物体对称性检测是经典的几何问题，由于对称性具有明确的数学定义（即物体在进行对称变换后具有几何不变性），传统的三维对称检测方法往往首先检测对称对应点（symmetric counterpart），再通过聚类或投票算法得到物体的对称面 / 轴。但是，这类算法的使用范围通常仅限于几何完整的合成三维模型或者高质量的重建三维模型，无法处理物体观测缺失的情况，例如无法通过单张 RGB-D 图像判断物体的对称性。

近日，国防科技大学和普林斯顿大学的研究者提出面向单张 RGB-D 图像的对称检测网络 SymmetryNet，相关论文被 ACM Transactions on Graphics (SIGGRAPH Asia 2020) 收录。

论文链接：https://arxiv.org/abs/2008.00485
数据和代码链接：https://github.com/GodZarathustra/SymmetryNet

方法

不同于从观测数据中检测对称对应点的传统方法，SymmetryNet 从大量数据中学习总结物体对称性出现的规律，进而通过 RGB-D 图像直接预测物体的对称性。

图 1：SymmetryNet：输入 RGB-D 图像，输出物体对称面 / 轴。

其核心思想是在检测物体对称面 / 轴的同时预测输入点云的对称对应点，这样做的好处是能够提高对称检测的精度和泛化能力。SymmetryNet 能够检测物体的反射对称（reflectional symmetry）和旋转对称（rotational symmetry），并且能够自动判断物体对称面 / 轴的数量，实现动态多输出。

图 2：SymmetryNet 网络结构。

SymmetryNet 包括特征提取和对称性预测两个模块。RGB 图和点云首先分别经过一个卷积神经网络和点云处理网络，得到逐点特征，逐点特征随后通过 weighted average pooling 层计算得到全局特征。逐点特征和全局特征拼接之后被用来预测物体对称面 / 轴。

SymmetryNet 的创新点之一是将物体对称面 / 轴的预测和对称对应点预测结合起来，对这两个相互关联的任务同时训练，从而提升对称检测的精度和泛化能力。如下图 3 所示，对于当前点 P_i，网络不仅预测物体的对称面 / 轴参数 O_i 和 n_i，同时还预测点 P_i 的对称对应点。其中，反射对称物体的对称对应点为 Q_i，旋转对称物体的对称对应点则为一个围绕对称轴的圆环。

此外，为了处理具有多个对称面 / 轴的物体，SymmetryNet 每次输出多个对称面 / 轴，再利用分类器判断输出每一个输出的有效性。对于含有多个对称面 / 轴的物体，SymmetryNet 通过求解 optimal assignment 优化方程计算预测对称面 / 轴与真值的匹配关系，进而计算 loss 并进行回传。

图 3：SymmetryNet 同时预测对称面 / 轴（蓝色部分）以及对称对应点（橙色部分）。

实验

为了验证算法有效性，SymmetryNet 在多个数据集上进行了实验测试，实验选用 PR 曲线作为评价标准。其中，ShapeNet 数据集上的定量实验结果如下图 4 所示。从图中可以看出，SymmetryNet 显著优于其它已有方法，性能达到了 state-of-the-art，尤其是在没有训练过的物体（Holdout category）上优势明显。

图 4：SymmetryNet 在 ShapeNet 数据集上的测试结果。

下图 5 展示了若干个对称性检测结果，可以看出 SymmetryNet 能够准确地检测出多种不同物体的对称性，包括被遮挡的物体、包含多个对称面的物体等。

图 5：SymmetryNet 对称性检测结果。

对称性是连接几何和语义的桥廊，理解分析物体对称性是计算机感知真实世界的重要方式。因此，对称检测可以为计算机视觉、机器人学中的多种任务提供理论和信息支持，具有十分广阔的应用前景。将图像分割、形状补全、位姿估计、机器人抓取等任务与对称检测结合，有望实现精度更高并且更加鲁棒的算法。

此外，研究实现高效的对称数据标注方法，或者实现对称检测网络的自监督训练，对于该研究方向同样具有重要意义。

理论对称检测国防科技大学SOTA论文SIGGRAPH

相关数据

图像分割技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。

来源：百度百科

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科