Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

陈萍、小舟编译

没有3D卷积的3D重建方法,A100上重建一帧仅需70ms

来自 Niantic 和 UCL 等机构的研究者使用精心设计和训练的 2D 网络,实现了高质量的深度估计和 3D 重建。

从姿态图像重建 3D 室内场景通常分为两个阶段:图像深度估计,然后是深度合并(depth merging)和表面重建(surface reconstruction)。最近,多项研究提出了一系列直接在最终 3D 体积特征空间中执行重建的方法。虽然这些方法已经获得出令人印象深刻的重建结果,但它们依赖于昂贵的 3D 卷积层,限制其在资源受限环境中的应用。

现在,来自 Niantic 和 UCL 等机构的研究者尝试重新使用传统方法,并专注于高质量的多视图深度预测,最终使用简单现成的深度融合方法实现了高精度的 3D 重建。

图片

  • 论文地址:https://nianticlabs.github.io/simplerecon/resources/SimpleRecon.pdf
  • GitHub 地址:https://github.com/nianticlabs/simplerecon
  • 论文主页:https://nianticlabs.github.io/simplerecon/

该研究利用强大的图像先验以及平面扫描特征量和几何损失,精心设计了一个 2D CNN。所提方法 SimpleRecon 在深度估计方面取得了显著领先的结果,并且允许在线实时低内存重建。

如下图所示,SimpleRecon 的重建速度非常快,每帧仅用约 70ms。

图片

SimpleRecon 和其他方法的比较结果如下:

图片

图片

方法


深度估计模型位于单目深度估计与平面扫描 MVS 的交点,研究者用 cost volume(代价体积)来增加深度预测编码器 - 解码器架构,如图 2 所示。图像编码器从参考图像和源图像中提取匹配特征,以输入到 cost volume。使用 2D 卷积编码器 - 解码器网络来处理 cost volume 的输出,此外研究者还使用单独的预训练图像编码器提取的图像级特征进行增强。

图片

该研究的关键是将现有的元数据与典型的深度图像特征一起注入到 cost volume 中,以允许网络访问有用的信息,如几何和相对相机姿态信息。图 3 详细地显示了 feature volume 构造。通过整合这些之前未开发的信息,该研究的模型能够在深度预测方面显著优于之前的方法,而无需昂贵的 4D cost volume 成本、复杂的时间融合以及高斯过程

图片

该研究使用 PyTorch 来实现,并使用 EfficientNetV2 S 作为主干,其具有类似于 UNet++ 的解码器,此外,他们还使用 ResNet18 的前 2 个块进行匹配特征提取,优化器为 AdamW ,在两块 40GB A100 GPU 上耗时 36 小时完成。 

网络架构设计

网络是基于 2D 卷积编码器 - 解码器架构实现的。在构建这种网络时,研究发现有一些重要的设计选择可以显著提高深度预测准确率,主要包括:

基线 cost volume 融合:虽然基于 RNN 的时间融合方法经常被使用,但它们显著增加了系统的复杂性。相反,该研究使得 cost volume 融合尽可能简单,并发现简单地将参考视图和每个源视图之间的点积匹配成本相加,可以得到与 SOTA 深度估计相竞争的结果。

图像编码器和特征匹配编码器:先前研究表明,图像编码器对深度估计非常重要,无论是在单目和多视图估计中。例如 DeepVideoMVS 使用 MnasNet 作为图像编码器,其具有相对较低的延迟。该研究建议使用很小但更强大的 EfficientNetv2 S 编码器,虽然这样做的代价是增加了参数量,并降低了 10% 的执行速度,但它大大提高了深度估计的准确率

融合多尺度图像特征到 cost volume 编码器:在基于 2D CNN 的深度立体和多视角立体中,图像特征通常与单尺度上的 cost volume 输出相结合。最近,DeepVideoMVS 提出在多尺度上拼接深度图像特征,在所有分辨率上增加图像编码器和 cost volume 编码器之间的跳跃连接。这对基于 LSTM 的融合网络很有帮助,该研究发现这对他们的架构也同样重要。

实验


该研究在 3D 场景重建数据集 ScanNetv2 上训练和评估了所提方法。下表 1 使用 Eigen 等人 (2014) 提出的指标来评估几个网络模型的深度预测性能。

图片

令人惊讶的是,该研究所提模型不使用 3D 卷积,在深度预测指标上却优于所有基线模型。此外,不使用元数据编码的基线模型也比以前的方法表现更好,这表明精心设计和训练的 2D 网络足以进行高质量的深度估计。下图 4 和图 5 显示了深度和法线的定性结果。

图片

图片

该研究使用 TransformerFusion 建立的标准协议进行 3D 重建评估,结果如下表 2 所示。

图片

对于在线和交互式 3D 重建应用,减少传感器延迟是至关重要的。下表 3 展示了给定一个新的 RGB 帧,各个模型对每帧的集成计算时间。

图片

为了验证该研究所提方法中各个组件的有效性,研究者进行了消融实验,结果如下表 4 所示。

图片

感兴趣的读者可以阅读论文原文,了解更多研究细节。
理论3D重建3D卷积
1
相关数据
图像重建技术

通过物体外部测量的数据,经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用,显示人体各部分的图像,即计算机断层摄影技术,简称CT技术,后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

高斯过程技术

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

单目深度估计技术

单目深度估计是指从单张RGB图像中估计深度。

推荐文章
暂无评论
暂无评论~