2023/10/19 14:52

4K画质3D合成视频不再卡成幻灯片，新方法将渲染速度提高了30多倍

本文提出了一种突破性的点云表示 4K4D，能够以 4K 分辨率对动态 3D 场景进行高保真实时渲染，达到了前所未有的渲染速度和令人印象深刻的渲染质量。

当 4K 画质、60 帧视频在某些 APP 上还只能开会员观看时，AI 研究者已经把 3D 动态合成视频做到了 4K 级别，而且画面相当流畅。

在现实生活中，我们接触的大多数视频都是 2D 的。在观看这种视频时，我们是没有办法选择观看视角的，比如走到演员中间，或者走到空间的某个角落。VR、AR 设备的出现弥补了这一缺陷，它们提供的 3D 视频允许我们变换视角、甚至随意走动，沉浸感大大提升。

但是，这种 3D 动态场景的合成一直是个难点，无论是在画质上还是流畅度上。

最近，来自浙江大学、像衍科技和蚂蚁集团的研究者对这个问题发起了挑战。在一篇题为「4K4D: Real-Time 4D View Synthesis at 4K Resolution」的论文中，他们提出了一种名为4K4D的点云表示方法，大大提升了高分辨率3D动态场景合成的渲染速度。具体来说，使用 RTX 4090 GPU，他们的方法能以 4K 分辨率进行渲染，帧率可达80 FPS；以1080p分辨率进行渲染时，帧率可达400FPS。总体来看，它的速度是以前方法的30多倍，而且渲染质量达到了SOTA。

以下是论文简介。

论文概览

论文链接：https://arxiv.org/pdf/2310.11448.pdf
项目链接：https://zju3dv.github.io/4k4d/

动态视图合成旨在从捕获的视频中重建动态 3D 场景，并创建沉浸式虚拟回放，这是计算机视觉和计算机图形学中长期研究的问题。这种技术实用性的关键在于它能够以高保真度实时渲染，使其能够应用于 VR/AR、体育广播和艺术表演捕捉。传统方法将动态 3D 场景表示为纹理网格序列，并使用复杂的硬件进行重建。因此，它们通常仅限于受控环境。

最近，隐式神经表示在通过可微渲染从 RGB 视频重建动态 3D 场景方面取得了巨大成功。例如《Neural 3d video synthesis from multi-view video》将目标场景建模为动态辐射场，利用体渲染合成图像，并与输入图像进行对比优化。尽管动态视图合成结果令人印象深刻，但由于网络评估昂贵，现有方法通常需要几秒钟甚至几分钟才能以 1080p 分辨率渲染一张图像。

受静态视图合成方法的启发，一些动态视图合成方法通过降低网络评估的成本或次数来提高渲染速度。通过这些策略，MLP Maps 能够以 41.7 fps 的速度渲染前景动态人物。然而，渲染速度的挑战仍然存在，因为 MLP Maps 的实时性能只有在合成中等分辨率（384×512）的图像时才能实现。当渲染 4K 分辨率的图像时，它的速度降低到只有 1.3 FPS。

在这篇论文中，研究者提出了一种新的神经表示 ——4K4D，用于建模和渲染动态 3D 场景。如图 1 所示，4K4D 在渲染速度上明显优于以前的动态视图合成方法，同时在渲染质量上具有竞争力。

作者表示，他们的核心创新在于 4D 点云表示和混合外观模型。具体而言，对于动态场景，他们使用空间雕刻算法获得粗点云序列，并将每个点的位置建模为可学习向量。他们还引入 4D 特征网格，为每个点分配特征向量，并将其输入 MLP 网络，以预测点的半径、密度和球谐函数（SH）系数。4D 特征网格自然地在点云上应用了空间正则化，使得优化更加稳健。基于 4K4D，研究者开发了一种可微深度剥离算法，利用硬件光栅化实现前所未有的渲染速度。

研究者发现，基于 MLP 的 SH 模型难以表示动态场景的外观。为了缓解这个问题，他们还引入了一个图像混合模型来与 SH 模型结合，以表示场景的外观。一个重要的设计是，他们使图像混合网络独立于观看方向，因此可以在训练后预先计算，以提高渲染速度。作为一把双刃剑，该策略使图像混合模型沿观看方向离散。使用连续 SH 模型可以弥补这个问题。与仅使用 SH 模型的 3D Gaussian Splatting 相比，研究者提出的混合外观模型充分利用了输入图像捕获的信息，从而有效地提高了渲染质量。

为了验证新方法的有效性，研究者在多个广泛使用的多视图动态新视图合成数据集上评估了 4K4D，包括 NHR、ENeRF-Outdoo、DNA-Rendering 和 Neural3DV。广泛的实验表明，4K4D 不仅渲染速度快了几个数量级，而且在渲染质量方面也明显优于 SOTA 技术。使用 RTX 4090 GPU，新方法在 DNA-Rendering 数据集上达到 400 FPS，分辨率为 1080p；在 ENeRF-Outdoor 数据集上达到 80 FPS，分辨率为 4k。

方法介绍

给定捕获动态 3D 场景的多视图视频，本文旨在重建目标场景并实时地进行视图合成。模型架构图如图 2 所示：

接着文中介绍了用点云建模动态场景的相关知识，他们从 4D 嵌入、几何模型以及外观模型等角度展开。

4D 嵌入：给定目标场景的粗点云，本文使用神经网络和特征网格表示其动态几何和外观。具体来说，本文首先定义了六个特征平面 θ_xy、θ_xz、θ_yz、θ_tx、θ_ty 和 θ_tz，并采用 K-Planes 策略，利用这六个平面来建模一个 4D 特征场 Θ(x, t)：

几何模型：基于粗点云，动态场景几何结构通过学习每个点上的三个属性（entries）来表示，即位置 p ∈ R^3 、半径 r ∈ R 和密度 σ ∈ R。然后借助这些点，计算空间点 x 的体积密度。点位置 p 被建模为一个可优化的向量。通过将 Eq.(1) 中的特征向量 f 馈送到 MLP 网络中来预测半径 r 和密度 σ。

外观模型：如图 2c 所示，本文使用图像混合技术和球谐函数（SH）模型来构建混合外观模型，其中图像混合技术表示离散视图外观 c_ibr，SH 模型表示连续的依赖于视图的外观 c_sh。对于第 t 帧处的点 x，其在视图方向 d 上的颜色为：

可微深度剥离

本文提出的动态场景表示借助深度剥离算法可以渲染成图像。

研究者开发了一个自定义着色器来实现由 K 个渲染通道组成的深度剥离算法。即对于一个特定的像素 u，研究者进行了多步处理，最后，经过 K 次渲染后，像素 u 得到一组排序点 {x_k|k = 1, ..., K}。

基于这些点 {x_k|k = 1, ..., K}，得到体渲染中像素 u 的颜色表示为：

在训练过程中，给定渲染的像素颜色 C (u)，本文将其与真实像素颜色 C_gt (u) 进行比较，并使用以下损失函数以端到端的方式优化模型：

除此以外，本文还应用了感知损失：

以及掩码损失：

最终的损失函数定义为：

实验及结果

本文在 DNA-Rendering、ENeRF-Outdoor、 NHR 以及 Neural3DV 数据集上评估了 4K4D 方法。

在 DNA-Rendering 数据集上的结果如表 1 所示，结果显示，4K4D 渲染速度比具有 SOTA 性能的 ENeRF 快 30 多倍，并且渲染质量还更好。

在 DNA-Rendering 数据集上的定性结果如图 5 所示，KPlanes 无法对 4D 动态场景下的详细外观和几何形状进行恢复，而其他基于图像的方法产生了高质量的外观。然而，这些方法往往会在遮挡和边缘周围产生模糊的结果，导致视觉质量下降，相反，4K4D 可以在超过 200 FPS 的情况下产生更高保真度的渲染。

接下来，实验展示了不同方法在 ENeRFOutdoor 数据集上的定性和定量结果。如表 2 所示，4K4D 在以超过 140 FPS 的速度进行渲染时仍然取得了明显更好的结果。

而其他方法，如 ENeRF 产生了模糊的结果；IBRNet 的渲染结果包含图像边缘周围的黑色伪影，如图 3 所示；K-Planse 无法重建动态人体以及不同的背景区域。

表 6 展示了可微深度剥离算法的有效性，4K4D 比基于 CUDA 的方法快 7 倍以上。

本文还在表 7 中报告了 4K4D 在不同分辨率的不同硬件（RTX 3060、3090 和 4090）上的渲染速度。

更多细节请参见原论文。

工程3D 动态合成视频

相关数据

计算机图形技术

图像数据处理、计算机图像（英语：Computer Graphics）是指用计算机所创造的图形。更具体的说，就是在计算机上用专门的软件和硬件用来表现和控制图像数据。

来源：维基百科

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

蚂蚁集团机构

蚂蚁集团是移动支付平台支付宝的母公司，也是全球领先的金融科技开放平台，致力于以科技和创新推动包括金融服务业在内的全球现代服务业的数字化升级，携手合作伙伴为消费者和小微企业提供普惠、绿色、可持续的服务，为世界带来微小而美好的改变。

http://www.antgroup.com

新视图合成技术

新视图合成旨在从给定图像的不同视点合成新图像。

来源：arxiv