机器之心原创

2024/01/02 15:27

给3D资产生成高清纹理，腾讯让AI扩充游戏皮肤

近日，腾讯宣布推出一项名为 Paint3D 的技术，它能够根据文本或图像输入，为无纹理的 3D 模型生成高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。

^{效果演示视频}

相关技术论文已经公开。

项目主页：https://paint3d.github.io/
论文地址：https://arxiv.org/abs/2312.13913
Code: https://github.com/OpenTexture/Paint3D

据论文介绍，这项技术主要解决的挑战是如何生成没有内嵌光照信息的高质量纹理，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管道。

Paint3D 通过引入预训练 2D 图像生成模型来获取文字和图像输入的引导能力，从不同的提示中概括出丰富且高质量的纹理。在此基础上，Paint3D 利用 3D 数据高质量的无照明纹理作为监督，在 UV 纹理空间上训练无光照扩散模型，生成无光照纹理。这些纹理没有内嵌光照阴影效果，同时保持了语义一致性，大大提升了 3D 模型纹理生成方面的最优效果。

3D 生成领域学者 Yawar Siddiqui 评价道：「终于有一种无内嵌光照的纹理生成方法了，结果非常出色，是我所见过的最好的纹理生成方法！」

推特用户 COBALT 评价道：「这真是令人难以置信，对视频游戏开发的未来感到兴奋，这些强大的工具可以加速进程！」

方法概述

两阶段纹理生成框架

为了基于输入条件（如文字信息或图像）合成高质量且多样化的 3D 模型纹理贴图，Paint3D 的研究人员设计了一个由粗到精细的框架，逐步生成和改进纹理贴图。

该框架主要分为粗糙纹理生成和纹理细化两个阶段：1）在粗糙阶段，从预训练的 2D 图像扩散模型中采样多视角图像，然后将这些图像反投影到网格表面上，创建初始纹理贴图。2）在细化阶段，通过在 UV 空间中执行扩散过程来增强粗糙纹理贴图，实现无光照、修复和高清功能，以确保最终纹理的高质量和完整性。

^{粗糙纹理生成阶段}

在粗糙阶段，研究团队基于预训练的视角深度感知的 2D 扩散模型为 3D 模型生成粗糙的 UV 纹理贴图，从不同的相机视角渲染深度图，然后使用深度条件从图像扩散模型中采样图像，最后将这些图像反投影到网格表面上。

为了提高每个视角中纹理网格的一致性，研究团队交替执行渲染、采样和反投影的三个过程，首先，从第一个视角将 3D 网格渲染成深度图，然后根据输入纹理条件和深度图像，利用 2D 扩散模型采样得到纹理图像：

接下来，将这个图像从第一个视角反投影到 3D 网格上，生成该视角的纹理贴图。在预先定义的 n 个相机视角上依次进行上述过程，融合后得到 3D 模型粗糙的纹理贴图。

纹理细化阶段

对于细化阶段而言，尽管第一阶段生成的粗糙纹理外观是连贯的，但仍存在一些问题，比如由 2D 图像扩散模型引起的光照阴影，或者在渲染过程中由自遮挡引起的纹理空洞。为了缓解这些问题并在纹理细化过程中进一步增强纹理贴图的视觉美感，研究团队在 UV 空间中训练扩散模型，基于粗糙纹理贴图在 UV 空间中完成纹理细化过程。

为了在 UV 空间中训练扩散模型，研究人员引入了位置图来表示纹理片段的 3D 邻接信息。位置图中的每个非背景元素都是一个 3D 点坐标，可以通过将 3D 点坐标进行 UV 映射来获得。

研究人员在预训练的图像扩散模型中添加了一个独立的位置图编码器，用于在扩散过程中融合 3D 邻接信息。这个编码器与图像扩散模型中的编码器具有相同的架构，并通过零卷积层连接在一起。新的编码器利用 3D 数据高质量的无照明纹理作为监督，在 UV 空间上训练无光照扩散模型：

通过纹理细化过程，研究团队减轻了光照阴影和纹理空洞等问题，并进一步提升了纹理贴图的视觉美感。

实验结果

Paint3D 通过一系列的量化和定性实验，证明了其在生成多样化纹理贴图方面的显著能力。该评估随机选取了多个 3D 模型生成纹理贴图，覆盖了人物、汽车、飞机、桌椅等多种物体类别，通过评估 FID 得分及用户调研来定量评估其纹理生成的效果。

实验结果显示，Paint3D 有着更好的纹理生成质量，同时能生成更符合输入条件的纹理结果，实验结果对比如下：

研究人员也在相同的 3D 模型上与当前最佳的纹理生成算法进行比较。结果显示，Paint3D 几乎在所有的样本上都达到了更好的效果，也是唯一一个能生成无内嵌光照纹理的算法。比较结果如下：

Paint3D 的实验中还展示了多种输入条件引导的纹理贴图生成，包括文字描述和示例图像引导下的纹理生成。

^{文字描述引导的纹理生成}

^{示例图像引导的纹理生成}

结论

综上所述，Paint3D 的出现标志着自动化纹理贴图生成领域的重大进展。它在生成高质量纹理贴图的同时，提供了包括文字描述和示例图像的纹理生成控制选项，通过精确控制纹理贴图中的内容和风格，Paint3D 可以生成高质量、多样化的纹理贴图，从而显著推进 3D 对象纹理化的最先进技术。

更为重要的是，Paint3D 生成的纹理贴图是没有内嵌光照阴影效果的，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的渲染管线，在艺术创作、数字媒体制作和游戏内容创作等领域发挥重要作用。

产业Paint3D

相关数据

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/