徐家兴作者

CVPR 2020 | 基用于3D目标检测的层级图网络

论文:A Hierarchical Graph Network for 3D Object Detection on Point Clouds

论文地址:https://www.aminer.cn/pub/5eccb534e06a4c1b26a834c7?conf=cvpr2020

由于大多数现有的点云对象检测方法不能充分适应点云的特征(例如稀疏性),所以一些关键的语义信息(如物体形状)不能被很好的捕捉到。本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积(SA-GConv)可以通过剑魔点的位置星系来描述物体形状,基于 SA-GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选,然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

论文背景

由于点云的稀疏性,一些已有的为网格形式数据设计的方法(如CNN)在点云上的表现并不好,为解决这一问题,最近有一些对点云数据的方法被提出,例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据,而后一种则在不明确考虑点的几何位置的情况下聚合特征。

与其他方法相比,PointNet++ 可以保留点的稀疏特点,因此被广泛作为框架的骨架。当目前仍有一些未能很好解决的挑战,首先由于没有考虑点的相对几何位置,因此使用 PointNet++ 作为主干忽略了一些局部形状信息。其次,框架的结构没有充分利用多级语义,这可能会忽略一些有助于目标检测的信息。

本文提出了一个基于图卷积(GCONV)的层级图网络(HGNet)用于基于点云的 3D 目标检测。HGNet 包含三部分:一个基于图卷积的 U 形网络(GUnet)、一个候选生成器以及一个候选推理模块(ProRe Module)。

整个 HGNet 以端到端的方式进行培训。在本文的框架中,点云的局部形状信息、多级语义和全局场景信息(候选的特征)已被层级图模型充分捕获、聚合和合并,充分考虑了点云数据的特征。

本文的主要贡献如下:

(A)开发了一种新的层级图网络(HGNet),用于在点云上进行 3D 对象检测,其表现好于已有方法。

(B)提出了一种新颖的 SA-(De)GConv,它可以有效地聚合特征并捕获点云中对象的形状信息。

(C)构建了一个新的 GU-net,用于生成多级特征,这对于 3D 对象检测至关重要。

(D)利用全局信息,ProRe 模块通过对候选进行推理来提高效果。

论文模型

融合采样

3D 目标检测有基于点和基于体素两种框架,前者更加耗时,由候选生成与预测细化两个阶段组成。

在第一个阶段,SA 用于降采样以获得更高的效率以及扩大感受野,FP 用来为降采样过程中丢掉的点传播特征。在第二阶段,一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。

形状注意图卷积

点云通常不能清楚地表示出物体的形状,可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积,它通过对点的几何位置建模来捕获对象形状。

对于一个点集 X,其中每一个点由其集合位置 p_i 以及 D 维的特征 f_i 组成,我们想要生成一个 X’,本文设计了图卷积用于聚合从 X 到 X’ 的特征。与 PointNet++的采样层相类似,本文首先从 n 个点中采样 n’ 个点,通常 K 最近邻(KNN)被用来在采样中保留局部信息将其作为中心点特征。


其中 g 表示 i 和 j 的相对位置,通过一个卷积将三维变为一维,f 是 mlp,然后二者的乘积就是中心点的 knn,其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化,但是 g 的输出就和 attention一样,每个点的 weights,然后对应的乘以特征。

GU-net

本文设计了一个下采样模块,并将其重复堆叠 4 次以形成下采样路径,而将一个上采样模块重复堆叠两次以构成上采样方式。类似 FPN、GU-net 生成三张点特征图的特征金字塔。下采样使用的是 FPS,然后通过KNN构建局部区域,再使用 SA-GConv 更新特征,上采样模块的过程与下采样模块的过程相反,主要由 SA-GConv 执行。

候选生成器

GU-net 生成了包含多级语义的三张点特征图。一些先前的方法(如 VoteNet)仅使用一个特征图进行目标预测。即使通过在上采样过程中融合较低层的特征来计算较高层的特征,由于不同层的特征提供了各种语义,因此将多层特征一起用于候选生成会更加有益。本文提出了一种候选生成器,以改进的投票模块作为主要结构来预测对象中心,该模型将多级特征转换为相同的特征空间。接下来为了聚合特征,通过 FPS 保留 Np 的投票,该做法与 VoteNet 类似,从而融合多级特征以预测边界框及其类别。

候选推理模块

通过以上几步,多层局部的语义信息已经被很好的捕捉到了,但全局信息还没有很好的学到,或者说可能有些目标在点云中只体现出很小的一部分表面的点,在这样少的信息下很难正确的将其识别出来。其推理过程为:

 其中 Hp 表示候选特征 tensor,P 表示候选的相对位置

论文实验

本文在 SUN RGB-D 和 ScanNet-V2 两个数据集上进行了实验。

此外,本文还进行了消融实验以证明各模快的有效性。

结论

本文提出了一种新颖的 HGNet 框架,该框架通过层级图建模学习语义。

具体来说,作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义,该语义聚合了点的相对几何位置的特征。基于 SA-GConv 和 SA-DeGConv 构建了 GU-net,生成了包含多级语义的特征金字塔。要素金字塔投票的点将位于相应的对象中心,并且进一步聚合多级语义以生成候选。然后使用 ProRe 模块在候选之间合并和传播特征,从而利用全局场景语义来提高检测性能。最后,对边界框和类别进行了预测。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论目标检测CVPR 2020
1
相关数据
降采样技术

降采样是数位信号处理领域中的一种多速频数字信号处理(multi-rate digital signal processing)系统中采样率转换(sample rate conversion)技术的一种,或指代用来降低信号采样率的过程,与插值相反——插值用来增加取样频率——降采样通常用于降低数据传输速率或者数据大小。因为降采样会有混叠的情形发生,系统中具有降采样功能的部分称为降频器(decimator)。

上采样技术

在数字信号处理中,上采样、扩展和内插是与多速率数字信号处理系统中的重采样过程相关的术语。 上采样可以与扩展同义,也可以描述整个扩展和过滤(插值)过程。

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括:在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化,以及尝试对学习集的剩余部分进行猜测,并且输出正确的结果。当与多个泛化器一起使用时,堆叠泛化可以被看作是一个交叉验证的复杂版本,利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时,堆叠泛化是一种用于估计(然后纠正)泛化器的错误的方法,该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

图网络技术

2018年6月,由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》,该研究提出了一个基于关系归纳偏置的 AI 概念:图网络(Graph Networks)。研究人员称,该方法推广并扩展了各种神经网络方法,并为操作结构化知识和生成结构化行为提供了新的思路。

感受野技术

一个感觉神经元的感受野是指这个位置里适当的刺激能够引起该神经元反应的区域。感受野一词主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。

推荐文章
暂无评论
暂无评论~