2024/01/04 14:32

李飞飞团队新作：AI透视眼，穿越障碍看清你，渲染遮挡人体有新突破了

即使遮挡，也能渲染出高保真的 3D 人体。

AR/VR 、电影和医疗等领域都在广泛地应用视频渲染人类形象。由于单目摄像头的视频获取较为容易，因此从单目摄像头中渲染人体一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMan 等方法都取得了令人瞩目的成绩。尽管只有一个摄像头视角，这些方法仍能从新的视角准确地渲染人体。

不过，大多数现有的方法在渲染人体时都是针对较为理想的实验场景进行设计的。在这些场景中，障碍物几乎不存在，人的各个身体部分在每一帧中也都能全部展示出来。可这与现实场景大为不同。现实场景中常有多个障碍物，人体也会在移动过程中被障碍物遮挡。

大多数的神经渲染方法在处理现实世界的场景时都会因为遮挡而困难重重，其中一大原因就是缺乏监督。实际场景往往无法提供有关人体外观、形状和姿态的真实监督数据，因此模型需要根据现有的少量证据来推断其他信息，而这十分具有挑战性，尤其是大部分人体被遮挡的情况。

由于许多神经方法采用的基于点的渲染方案，当一个被遮挡和一个未被遮挡时，两个非常接近的坐标会在渲染输出上产生巨大差异。因此，那些未适应被遮挡场景的方法在遇到遮挡时经常会显示出不完整的人体，或者渲染出漂浮物和其他视觉上的错误。

最近，著名人工智能教授李飞飞在 X 上发布了有关 3D 人体渲染工作的新进展 —— 一种名为 Wild2Avatar 的新模型，该模型即使在有遮挡的情况下仍然能够完整、高保真地渲染人体。

Wild2Avatar 是一种适用于有遮挡的野外单目视频的神经渲染方法。研究团队提出了遮挡感知场景参数化，将场景解耦为三个部分 —— 遮挡、人体和背景，分别渲染这三个部分，并设计了新颖的优化目标。

论文地址：https://arxiv.org/pdf/2401.00431.pdf
项目地址：https://cs.stanford.edu/~xtiange/projects/wild2avatar/

方法介绍

Wild2Avatar 可以为带有遮挡的野外单目视频渲染具有完整几何形状和高保真外观的 3D 人体。Wild2Avatar 模型的整体架构如下图 2 所示：

具体来说，Wild2Avatar 将遮挡物、人体和背景建模为三个独立的神经场，无论遮挡物如何，都能对人体进行清晰的三维重建。为此，该研究采用场景自分解技术，在倒球参数化（inverted sphere parametrization）的基础上，提出了遮挡感知场景参数化。

除了倒球参数化定义的第一个球外，该研究还引入了第二个内球，并将从摄像机到内球边缘的区域定义为遮挡区域。通过单独渲染这一区域，Wild2Avatar 成功将遮挡与场景的其他部分分离开来。

此外，为了确保高保真和完整地渲染人体，该研究提出通过像素光度损失、场景分解损失、遮挡解耦损失和几何完整性损失的组合来汇总三种渲染。

实验及结果

数据集

OcMotion：该数据集由人体与各种物体接触的室内场景组成，同时被这些物体部分遮挡。研究者从该数据集的 48 个视频中选用了 5 个，它们展示了不同程度的遮挡。他们从每个视频中只抽取了 100 帧来训练模型，并使用数据集提供的相机矩阵、人体姿态和 SMPL 参数来初始化优化过程。帧内的二进制人体分割掩码是通过「分割一切 (SAM)」获得的。

野外视频：研究者对两段真实世界的视频进行了额外的实验，其中一段是从 YouTube 下载的，另一段是研究团队使用手机摄像头拍摄的。他们从这两段视频中抽取了 150 帧进行训练，并使用 SLAHMR 获取了摄像机矩阵、人体姿势和 SMPL 参数。由于没有提供真实姿态，因此对这些视频的评估也表明了各种方法对不准确估计的稳健性。

被遮挡单目摄像头视频上的结果

图 5 比较了 Vid2Avatar 和 Wild2Avatar 在两个数据集上的渲染结果。

在表 1 中，研究者报告了两种方法的量化结果，并观察到二者在可见部分的渲染性能不相上下。不过，需要注意的是，Wild2Avatar 在身体几何形状和遮挡部分的渲染质量上始终优于 Vid2Avatar。

与 OccNeRF 的比较

研究者将 Wild2Avatar 与最近推出的遮挡人体渲染软件 OccNeRF 进行比较。比较结果如图 6 所示。

为了进行公平比较，他们分别在 500 帧和 100 帧图像上对 OccNeRF 进行了训练。由于没有隐式 SDF 表征，OccNeRF 存在浮游物和伪影等常见缺陷。虽然 OccNeRF 也能恢复被遮挡的人体部位，但人体通常会意外扭曲，导致渲染质量较低。

场景分解的可视化

Wild2Avatar 以组合的方式渲染了三个场景部分。人和背景 / 遮挡物分别在两个不同的神经场中建模。图 7 展示了这三个场景部分的单独渲染图。需要注意的是，由于这项工作只专注于人体渲染，因此背景和遮挡物的无伪影渲染不在这项工作的讨论范围内。

消融实验

尽管 Wild2Avatar 仍能恢复被遮挡的外观，但在没有提出的参数化的情况下，渲染结果中会出现许多伪影，见图 8 第一行。

如果不采用建议的损失函数，则无法完全恢复被遮挡的区域，见图 8 第二行。

提出的损失函数作为一个正则化器，强制人体几何形态与 SMPL 网格先验保持一致，这防止了错误姿态的渲染，见图 8 第三行。

更多详细内容，请阅读原论文。

产业李飞飞Wild2Avatar

相关数据

李飞飞人物

李飞飞，斯坦福大学计算机科学系教授，斯坦福视觉实验室负责人，斯坦福大学人工智能实验室（SAIL）前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌，担任谷歌云AI/ML首席科学家。2018年9月，返回斯坦福任教，现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启，李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人，Christopher Manning接任该职位。

来源：个人主页维基百科

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。