2024/05/15 17:33

告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人赵健、清华大学智能产业研究院（AIR）助理教授赵昊等。

最近，3D Gaussian Splatting (3DGS) 作为一种新颖的 3D 表示方式，因其快速的渲染速度和高渲染质量而受到关注。然而，这种方法也伴随着高内存消耗，例如，一个训练好的高斯场可能会使用超过三百万个高斯基元和超过 700 MB 的内存。

近日，帝国理工学院、北航、北京理工大学、中国科学院大学、中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）、清华大学智能产业研究院（AIR）等机构的研究者联合发表了一篇论文《SUNDAE: Spectrally Pruned Gaussian Fields with Neural Compensation》，我们认为这种高内存占用是由于没有考虑基元之间的关系。在论文中，我们提出了一种名为 SUNDAE 的内存高效的高斯场，采用频谱修剪和神经补偿。

文章链接：https://arxiv.org/abs/2405.00676
项目主页：https://runyiyang.github.io/projects/SUNDAE/

一方面，我们基于高斯基元的空间信息构建了一个图，用于模拟它们之间的关系，并设计了一个基于图信号处理的降采样模块来剪枝，同时保留所需信号。另一方面，为了补偿剪枝造成的质量下降，我们利用了一个轻量级神经网络来混合渲染特征，有效地补偿了质量下降，同时在其权重中捕获基元之间的关系。

我们通过大量的结果展示了 SUNDAE 的性能。例如，在 Mip-NeRF360 数据集上，SUNDAE 可以在使用 104 MB 内存的情况下达到 26.80 PSNR 和 145 FPS，而标准的 3D Gaussian Splatting 算法在使用 523 MB 内存的情况下达到 25.60 PSNR 和 160 FPS。

与此同时，自从开源后，SUNDAE 受到国际上广泛的关注，受到了知名 NeRF 社区 MrNeRF，AI research 社区维护者 Ahsen Khaliq、以及多位相关领域研究人员转发关注。

一、带神经补偿的频谱剪枝高斯场

1.1 基于频谱图的剪枝策略

3DGS 使用一组高斯基元来表示场景，由于这些基元在三维空间中的分布不规则，我们提出了基于图的方法来捕获基元之间的关系，而不是使用网格这样的常规结构。

具体来说，我们采用图信号处理理论来推导一个最优的采样策略，该策略能够基于图信号保留特定频谱的信息。通过控制频谱带宽，我们可以灵活地控制剪枝比例，建模高斯基元之间的关系。如图 1 (c)，我们可以控制剪枝 90% 的高斯基元而不降低渲染质量。

^{图 1: (a) 3DGS 7k 迭代次数的结果；(b) 3DGS 30k 迭代次数的结果，使用了更多的高斯基元来表示三维场景，因此质量更高、速度更慢、存储空间更大；(c) 剪枝了 90% 的高斯基元，在存储空间上大幅减小，但是达到了相似的渲染效果。}

我们使用高斯基元的中心来作为图上的信号输入，将高斯基元之间的距离作为图的边，图的邻接矩阵可以表示为

其中

是高斯基元的中心点，

是一个阈值超参数，

是距离矩阵的方差。也就是说，如果两个高斯基元之间的距离比一个阈值小，那么我们将其之间建立一条图的边。建立好图的邻接矩阵之后，我们可以根据 Haar-like 滤波器对图上的信号进行处理，得到特定频段的图信号。最终根据想要的频段信号进行剪枝，本文中我们使用了带阻滤波器，保留表示物体细节的高频信号和背景点的低频信号。

1.2 神经补偿机制

经过频谱剪枝后，渲染质量因为删去了过多的高斯基元不可避免会下降，为了解决这个问题，我们采用了一个神经网络来补偿这一质量损失，如图 2 所示。

我们从 Gaussian Splatting 转换到了 Feature Splatting，引入一个轻量级卷积神经网络来输出高斯基元映射到图像上的 RGB 值，从而融合不同基元的信息。这使得补偿网络的权重在二维图像空间中间接地来捕获基元之间的关系。

^{图 2: 左边显示的原版 3DGS，由于没有捕捉到基元之间的关系，因此需要大量的存储空间；中间展示了我们的频谱剪枝策略，建模高斯基元之间的关系；右侧显示神经补偿利用 2D 特征来改善渲染效果。}

具体来说，我们不是像 3DGS 那样直接渲染 RGB 图像，而是通过用于 3D 高斯的可微分光栅化器获得一个特征图，该光栅化器将 3D 高斯基元的特征投影到二维特征图上。

然后，我们利用一个轻量级神经网络来建模基元之间的关系并补偿频谱剪枝后的质量下降。这个网络由一个具有 skip-connection 的四层全卷积 U-Net 组成，它聚合来自不同基元的信息。使用平均池化进行下采样，并使用双线性插值进行图像上采样。该网络以光栅化的特征图为输入，输出 RGB 图像。

SUNDAE 的总体框架如下图 3 所示。

^{图 3: (a) Pipeline: 对一个预训练的 3D 高斯场，采用基于图的剪枝策略对高斯基元进行降采样，并使用卷积神经网络来补偿剪枝造成的损失。(b) 基于图的剪枝：基于高斯基元之间空间关系的图被用于剪枝。通过使用带阻滤波器，这一过程便于从高频组件中提取细节信息，同时捕捉低频部分的一般特征，从而实现整个场景的全面而高效的表示。}

1.3 连续剪枝策略

此外，我们还提出了一个连续剪枝的策略来降低峰值存储，与训练后剪枝不同，后者从一个完全密集的高斯场中剪除基元，连续剪枝涉及在整个训练过程中的预定义间隔定期移除特定数量或比例的基元。这种方法旨在在训练 3D 高斯场时持续控制基元的最大数量，从而降低训练期间的峰值内存需求，并允许在 GPU 内存较低的 GPU 设备上进行训练。

经验表明，较低峰值内存的优势以较弱的最终内存占用控制为代价。例如，如果我们每 2000 次迭代剪掉 20% 的基元，3D 高斯场的最终收敛状态可能会偏离预期的 20% 减少。

此外，这种变化可能在不同场景中有所不同，增加了剪枝效果的可预测性和一致性的复杂性。因此，我们将连续剪枝策略视为必要时的替代方案。

二、实验结果

2.1 定量结果

我们将 SUNDAE 与最先进的 3DGS 和 NeRF 算法进行对比，相比于 3DGS 来说，我们的模型只占用了 10% 的内存就可以达到相似的效果，并且使用 30% 或 50% 的内存便能超过原版 3DGS。并且在 FPS 上远远超过了 NeRF 相关的其他算法。

这是由于我们的模型能较好的捕捉高斯基元之间的关系，使用更少的高斯基元来高效地表征三维场景。

2.2 定性结果

定性结果中可以看到看到，我们们将 SUNDAE 在 1% 和 10% 采样率的定性结果与 3DGS 和 InstantNGP 进行比较。

定性结果显示，SUNDAE 能够在只使用 10% 甚至 1% 的内存消耗下，达到类似的新视角合成质量。图成功地构建了基元之间的关系，而神经补偿头部有效地维持了渲染质量。并且从图 5 的第四行和最后一行可以看到，频谱剪枝能够移除靠近摄像机的漂浮物。

2.3 消融实验

2.3.1 带阻滤波器

带阻滤波器的比率由一个参数表示。具体来说，在基于图的剪枝过程中，我们采样了若干基元，包括一定比例 () 的高通和剩余的 (1-) 低通。

结果表明，这个参数对渲染质量有显著影响，50% 的比率提供了最佳的结果，而对低频或高频信号的不成比例强调会导致质量下降，因为通 50% 的比率保留了均衡的高频细节和低频背景所以效果更优。

2.3.2 补偿网络

如图 6 和表 2 所示，我们定性和定量地展示了补偿网络的重要性。如表 2 所示，所有采样率下，使用神经补偿相比不使用都表现出了改善的性能。这一点通过图 6 中展示的可视化结果得到了进一步支持，展示了该模块在缓解频谱剪枝造成的性能下降方面的补偿能力。同时，也证明了基元之间的关系被很好地捕捉。

如表 3 所示，我们尝试了不同大小的补偿网络，增加网络大小并不一定能提高渲染质量，这与 ADOP 的发现一致，表明了相似的趋势。我们采用 30MB 的 4 层 UNet 作为默认设置，以最佳平衡质量和内存。

2.3.3 更多的采样点

如上表 1 所示，保留 50% 的基元在渲染质量上优于原始的 3DGS。我们还额外测试了保留 80% 和保留所有基元，以检验采样率如何影响最终结果，如表 4 所示。

结果显示，保留 80% 的基元提高了渲染质量，根据 LPIPS 显示出改进，但在 PSNR 和 SSIM 上的视觉提升很小。保留所有基元（并训练更多的周期）无法进一步提高质量，这也显示了建模基元关系的重要性。如果没有有效的关系建模，更多的基元会使模型难以收敛，且大量基元对场景表示产生负面影响。

此外，我们的目标是平衡渲染质量与存储效率；然而，将存储增加到 620MB 以保留 80% 的基元只带来了轻微的质量提升，从而降低了存储效率。

2.3.4 连续采样策略

我们在 MipNeRF360 数据集中的 Bicycle 和 Counter 场景上测试了连续采样策略，设定不同的剪枝间隔迭代次数和剪枝率。如表 5 所示，Points 是训练后的基元数量，Ratio 是训练后基元数量与原始 3DGS 的大致比率。

结果显示，这种策略可以降低峰值内存，但难以控制最终内存（通过 Points 和 Ratio 反映）。因此，我们验证了我们的训练后剪枝策略，但仍然在我们的开源工具箱中提供连续剪枝策略作为一种替代方案。

2.3.5 高效性评估

关于训练时间、CUDA 内存、渲染帧率和 ROM 存储的详细信息，请参见表 6。值得注意的是，「Ours-50%」版本在可接受的训练时间内（1.41 小时）达到了最好的渲染质量，同时实现了实时渲染，并显著降低了训练期间的 CUDA 内存使用和 ROM 存储。

三、结论

在这篇工作中，我们提出了一种新颖的具有神经补偿的频谱剪枝高斯场 SUNDAE，通过引入图信号处理，来建模高斯基元之间的关系，并混合不同基元的信息来补偿剪枝造成的信息损失。

我们使用高斯基元之间的空间信息构建图来建模关系，并根据频谱信息进行剪枝，去除冗杂的基元。一个轻量级神经网络被用来补偿剪枝后不可避免的渲染质量损失。

实验结果表明，SUNDAE 在保持 3DGS 的效率的同时，显著减小了内存，提升了效率并且保持了高保真的渲染质量。

工程频谱剪枝高斯场SUNDAE3D Gaussian Splatting

相关技术

知识图谱

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

降采样技术

降采样是数位信号处理领域中的一种多速频数字信号处理（multi-rate digital signal processing）系统中采样率转换（sample rate conversion）技术的一种，或指代用来降低信号采样率的过程，与插值相反——插值用来增加取样频率——降采样通常用于降低数据传输速率或者数据大小。因为降采样会有混叠的情形发生，系统中具有降采样功能的部分称为降频器（decimator）。

来源：Lyons, Richard (2001). Understanding Digital Signal Processing. Prentice Hall. p. 304. ISBN 0-201-63467-8.

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

双线性插值技术

双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。

来源：百度百科

上采样技术

在数字信号处理中，上采样、扩展和内插是与多速率数字信号处理系统中的重采样过程相关的术语。上采样可以与扩展同义，也可以描述整个扩展和过滤（插值）过程。

来源：维基百科

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息（如声音、图像和生物测量）”的函数。例如，信号处理技术用于提高信号传输的保真度、存储效率和主观质量，并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此，对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

来源：Roland Priemer (1991). Introductory Signal Processing. World Scientific. p. 1. ISBN 9971509199.

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/