黄梓田、余一宽、徐嘉文、倪枫、乐心怡发布

CVPR 2020 | 更高质量的点云补全:上海交通大学团队提出点云分形网络

近日,计算机视觉顶会 CVPR 2020 接收论文结果公布,从 6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%。本文介绍了上海交通大学被此顶会接收的一篇论文《PF-Net: Point Fractal Network for 3D Point Cloud Completion》。

  • 论文地址:https://arxiv.org/pdf/2003.00410.pdf

  • 代码地址:https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git

点云补全(Point Cloud Completion)用于修补有所缺失的点云(Point Cloud),从缺失点云出发估计完整点云,从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体,在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后,点云深度学习逐渐成为热门研究领域。但是,从激光雷达等设备中获取的点云往往有所缺失,这给点云的后续处理带来了一定的困难,也凸显出点云补全作为点云预处理方法的重要性。

传统的点云补完方法基于一定的物体基础结构的先验信息,如对称性信息或语义类信息等,通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来,一些工作也尝试使用深度学习来实现点云补全,如 LGAN-AE[3],PCN[4], 和 3D-Capsule[5] 等,这些工作以不完整点云作为输入,输出完整点云,造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面,这些网络会生成偏向于某类物体共性特征的点云,而失去某个物体的个体特征。

我们提出点云分形网络(PF-Net:Point Fractal Network),采用了类似分形几何的思想,同样以不完整点云作为输入,但是仅输出缺失部分点云,并且较好地保留了某个物体的个体特征。下图 1 中给出了不同点云修补网络的修复效果对比。

图 1:点云补全效果对比,从上往下(输入; LGAN-AE 输出 [3] , PCN 输出 [4]; 3D-Capsule 输出 [5] ; 我们的 PF-Net 输出; 真实输出)

可以看到,PF-Net 的修补对比其他网络具有以下优势:(1)保留了输入点云独特的几何特性;(2)细节特征更加丰富且柔和;(3)生成点云整体的质量更高

PF-Net 网络之所以可以大幅改善生成点云的效果,与 PF-Net 网络的特征密不可分。该网络的主要特征包括:(1)以不完整点云作为输入,仅输出缺失部分点云,可以更多保留物体点云的空间结构,对物体的局部特性感知更好;(2)提出了更优的点云特征提取器:多分辨率编码器(Multi-Resolution Encoder),多尺度的方法提升了高低层次点云语义信息提取的效率;(3)提出了金字塔解码器(Point Pyramid Decoder)用于生成点云,利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成,从而减少了几何结构瑕疵。(4)利用 GAN 结构的鉴别器(Descriminator)优化网络,改善了同一类别不同物体间的特征会相互影响的现象(Genus-wise Distortions Problem)。

图 2:PF-Net 整体网络结构。

网络的整体网络结果如图 2 所示。PF-Net 网络以多分辨率编码器(MRE)作为特征提取网络,使用联合 MLP(CMLP)替代 MLP 成为单个点云的特征提取器,从而能最大程度保留原始点云的局部特征;利用特征向量通过点云金字塔解码器(PPD)输出点云,PPD 的主要思想是监督每一阶段的点云,提升关键点的生成质量,在关键点的基础上不断生成新的点云。

下图 3 展示了多层次拟合关键点在不同深度的效果。对比未使用 PPD 结构和损失函数的网络,下表 1 的结果显示了 PPD 结构在 PF-Net 中的重要作用。

表 1:PF-Net(vanilla)为未使用鉴别器优化的 PF-Net,MR-CMLP 为未使用 PPD 结构的 PF-Net(vanilla)。

图 3:基于金字塔解码器的多层次提取可视化效果。

我们主要在 ShapeNet 数据集展开实验,以生成点云和原始点云的相对 Chamfer Distance 指标量为量化指标,下标中「/」左侧为生成点云指向原始点云,「/」右侧为原始点云指向生成点云,可以看到 PF-Net 在 ShapeNet 数据集中的 13 类物体上,在大部分对比中 PF-Net 都是占优的,达到了 SOTA。

表 2:利用 Chamer distance 为指标的量化指标对比。

PF-Net 网络在不同缺失比例和缺失多个位置的情况下补全效果也十分不错。如下图 4 和图 5 所示。

图 4:25%,50%,和 75% 的损失比例下的补全结果。

图 5:在飞机机头、机尾、机翼等不同位置、多个位置的补全结果。

总体来说,PF-Net 实现了缺失点云数据下的精细补全,在不同缺失率和多个缺失位置的情况下的补全效果均较好,可以作为点云预处理方法,提高点云分割、点云识别的准确率。然而,目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集,在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体,我们呼吁更多的人关注点云深度学习,共同建设点云深度学习的美好生态。

注:论文前三作者均为上海交通大学机动学院硕士研究生,四作倪枫供职于科技企业,本文通讯作者为上海交通大学讲师乐心怡。

参考文献:

[1] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3D classification and segmentation. CVPR, 2017.

[2] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. NeurIPS, 2017. 

[3] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and Leonidas J Guibas. Learning representations and generative models for 3D point clouds. ICML, 2018.

[4] Wentao Yuan, Tejas Khot, David Held, Christoph Mertz, and Martial Hebert. PCN: Point completion network. 3DV, 2018.

[5] Yongheng Zhao, Tolga Birdal, Haowen Deng, and Federico Tombari. 3D point capsule networks. CVPR, 2018.

理论上海交通大学深度学习点云补全
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

激光雷达技术

自动驾驶车辆传感器的一种,采用激光扫描和测距来建立车辆周围环境的详细三维模型。Lidar 图像具有高度准确性,这使得它可以与摄像头、超声波探测器和雷达等常规传感器相提并论。然而激光传感器面临体积过大的问题,同时,它的机械结构非常复杂。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

推荐文章
暂无评论
暂无评论~