Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

两篇论文同时获最佳论文荣誉提名,SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界

专注于计算机图形学的全球学术顶会 SIGGRAPH,正在出现新的趋势。

在上周举行的 SIGGRAPH 2024 大会上,最佳论文等奖项中,来自上海科技大学 MARS 实验室的团队同时拿到两篇最佳论文荣誉提名,其研究成果亦在快速走向产业化。

作者使用生成模型的方法,开启了将想象力直接转化为复杂 3D 模型的新路。

图片

                                   拿到最佳论文提名的两篇论文——CLAY 和 DressCode,二者的主题分别是 3D 生成和 3D 服装生成。

在 SIGGARPH 的 Real-Time Live 环节,上科大这一团队更实时展示了基于这两项工作的一系列应用场景。

论文作者,研究生二年级学生,同时也是初创公司影眸科技的 CTO 张启煊首先演示了基于 CLAY 的 3D 生成解决方案。影眸团队去年用简单的文字提示词(Prompt)给扎克伯格和黄仁勋构建了真实风格的 3D 模型,成为第一个登上 SIGGRAPH Real-Time Live 的中国团队。今年他们的 3D 生成方案,通过单张图片作为输入,可以生成出小扎和老黄不同风格的卡通形象。

图片

这些生成内容的背后是新一代 3D AI 引擎 Rodin,致敬著名雕塑家罗丹。现场展示的 3D 内容都是由用户上传的单张图片直接生成的,Rodin 可以进一步生成 PBR 纹理和四角面,以方便艺术家进一步修改和使用。

图片

通过 3D ControlNet,Rodin 可以控制 AI 生成的形状。仅需提供简单的几何元素作为指导,就可以将其转换为体素,并根据参考图片的语义信息将其转换为所需要的 3D 资产。

图片

Rodin 也支持直接手绘的图片,甚至是简单涂鸦。几张照片生成 3D 人物,儿童涂鸦生成树木作为背景,开发人员现场实时操作,一分钟内便搭建了一个完整的 3D 建模的场景。当主持人问到中间的小怪物是谁时,张启煊风趣的说,这就是 AI。

图片

说起来,3D 模型生成的上一次出圈其实也是在 SIGGRAPH 上:在 2021 年,英伟达在这个舞台上介绍了给黄仁勋制作 3D 模型的方法,以假乱真的效果震撼了世界。

彼时的 3D 模型生成被认为对于数字人、虚拟现实等技术而言至关重要。但毫无疑问,高精度人体扫描 + 深度学习重建方式的高成本,决定了它注定不会成为投入大规模生产的方式。

使用 AI 生成或许才是更好的路径。然而此前在这个方向上,人们提出的技术一直「叫好不叫座」。

对实际应用而言,这些方法存在一些挑战:3D 是一个工业问题,模型仅仅在视觉上表现好是不够的,还需要符合特定的工业标准,比如材质如何表现,面片规划、结构如何合理。如果不能和人类工业标准对齐,那生成结果就需要大量调整,难以应用于生产端。

就像大语言模型(LLM)需要对齐人类的价值观,3D 生成的 AI 模型需要对齐复杂的 3D 工业标准。

更实用的方案已经出现:3D 原生

上科大 MARS 实验室获得最佳论文提名的工作之一——CLAY 让行业看到了上述问题的一个可行的解决思路,即 3D 原生。

我们知道,最近两年,3D 生成的技术路线大致可以分为两类:2D 升维和原生 3D。

2D 升维是通过 2D 扩散模型,结合 NeRF 等方法实现三维重建的过程。由于可以利用大量的 2D 图像数据进行训练,这类模型往往能够生成多样化的结果。但又因为 2D 扩散模型的 3D 先验能力不足,这类模型对 3D 世界的理解能力有限,容易生成几何结构不合理的结果(比如有多个头的人或动物)。

图片

近期的一系列多视角重建工作通过把 3D 资产的多视角 2D 图像加入 2D 扩散模型的训练数据,在一定程度上缓解了这一问题。但局限性在于,这类方法的起点是 2D 图像,因此它们关注的都是生成图像的质量,而不是试图保持几何保真度,所以生成的几何图形经常存在不完整和缺乏细节的问题。

换句话说,2D 数据终究只记录了真实世界的一个侧面,或者说投影,再多角度的图像也无法完整描述一个三维内容,因此模型学到的东西依旧存在很多信息缺失,生成结果还是需要大量修正,难以满足工业标准。

考虑到这些局限,CLAY 的研究团队选择了另一条路 ——3D 原生

这一路线直接从 3D 数据集训练生成模型,从各种 3D 几何形状中提取丰富的 3D 先验。因此,模型可以更好地「理解」并保留几何特征。

不过,这类模型也要足够大才能「涌现」出强大的生成能力,而更大的模型需要在更大的数据集上进行训练。众所周知,高质量的 3D 数据集是非常稀缺且昂贵的,这是原生 3D 路线首先要解决的问题。

在 CLAY 这篇论文中,研究者采用定制的数据处理流程来挖掘多种 3D 数据集,并提出了有效的技术来扩展(scale up)生成模型

具体来说,他们的数据处理流程从一个定制的网格重构(remeshing)算法开始,将 3D 数据转换为水密性网格(watertight meshes),细致地保留了诸如硬边和平整表面等重要几何特征。此外,他们还利用 GPT-4V 创建了细致的标注,突出显示重要的几何特性。

众多数据集经过上述处理流程后,汇成了 CLAY 模型训练所使用的超大型 3D 模型数据集。此前,由于格式不同,缺乏一致性,这些数据集从来没有一起用于训练 3D 生成模型。处理后的组合数据集保持了一致的表示和连贯的注释,可以极大地提高生成模型的泛化性。

利用该数据集训练出的 CLAY 包含一个参数量高达 15 亿的 3D 生成模型。为了保证从数据集转化到隐式表达再到输出之间,信息损失尽可能小,他们花了很长时间去筛选、改良,最终探索出了一套全新、高效的 3D 表达方式。具体来说,他们采用了 3DShape2VecSet 中的神经场设计来描述连续完整的表面,并结合了一个特制的多分辨率几何 VAE,用于处理不同分辨率的点云,让它能够自适应隐向量尺寸(latent size)。

图片

为了便于模型的扩展,CLAY 采用了一个极简的潜在扩散 Transformer(DiT)。它由 Transformer 构成,能够自适应隐向量尺寸,具有大模型化能力(scalability)。此外,CLAY 还引入了一种渐进式训练方案,通过逐步增加隐向量尺寸和模型参数来训练。图片

最终,CLAY 实现了对几何的精确控制,使用者可以通过调整提示词控制几何生成的复杂度、风格等(甚至角色)。与以往的方法相比,CLAY 能迅速地生成细致的几何,很好地保证了诸如平整表面和结构完整性等重要几何特征。

图片

论文中的一些结果充分展示了原生 3D 路径的优势。下图展示了研究者从数据集中检索到的前三个最邻近样本。CLAY 生成的高质量几何体与提示词匹配,但与数据集中的样本有所不同,展现出了足够的丰富度,具备大模型涌现能力的特点。

图片

为了使生成的数字资产能够直接用于现有的 CG 生产管线,研究者进一步采用了一套两阶段方案:

1、几何优化确保结构完整性和兼容性,同时在美观和功能上对模型的形态进行细化,如四边面化、UV 展开等;

2、材质合成通过真实的纹理赋予模型逼真的质感。这些步骤共同将粗糙的网格转变为在数字环境中更可用的资产。

图片

其中,第二个阶段涉及一个近 10 亿参数的多视图材质扩散模型。在进行网格四边面化与 UV 展开之后,它通过多视图方法生成 PBR 材质,随后将其反向投影到 UV maps 上。相比先前的方法,该模型生成的 PBR 材质更加真实,最终实现逼真的渲染效果。

图片

为了让 CLAY 支持更多任务,研究者还设计了 3D 版 ControlNet,极简的架构使它能够高效地支持各种不同模态的条件 (Condition)控制。他们实现了几种用户可以轻松提供的示例条件,包括文本(原生支持),以及图像 / 草图、体素 (Voxel)、多视图图像(Multiview Images)、点云(Point Cloud)、边界框(BoundingBox)和带有边界框的部分点云。这些条件可以单独应用,也可以组合应用,使模型能够基于单一条件忠实生成内容,或结合多种条件创建具有风格和用户控制的 3D 内容,提供广泛的创作可能性。

图片

此外,CLAY 还直接支持在 DiT 的注意力层 (attention layers) 上进行 Low-Rank Adaptation (LoRA)。这允许高效的微调,使生成的 3D 内容能够针对特定风格。

图片

从这些设计不难看出,CLAY 的设计从一开始就瞄准了应用场景,这和一些纯学术研究有很大的不同。

这也让该模型实现了快速落地:目前 Rodin 已经成为很多 3D 开发者的常用 3D 生成器。

图片

                              可点击阅读原文,访问 Rodin 体验产品(建议 PC 端打开)。

国内外很多行业使用者反馈认为,Rodin 生成的 3D 资产几何科学、布线规则、材质贴图精致,而且可以直接被导入现有的主流渲染引擎,使用起来非常方便,是一款接近 Production-Ready 的 3D 生成应用。

图片

贡献了 CLAY 的上科大 MARS 实验室团队,自 2023 年作为 SIGGRAPH 创立 50 年来首个入选 Real-Time Live 环节的中国团队,已经连续第二年站上这个舞台。

图片

影眸科技在 3D 原生 AI 的道路上探索,构建起了接近 Production-Ready 的 3D 产品,大幅降低了 3D 创造的门槛。

基于 CLAY 的 3D 生成技术不仅指引着业界方向,还将对图像和视频的生成起到积极作用。因为从信息熵的角度来说,你提供的信息越少,模型发挥的空间就越大。而 3D 模型化可以锚定其收敛的方向,提高图像、视频生成的可控性。

不过,3D 领域本身不像图像和视频那么简单,只有补齐完整链条,用户才会真正开始接受 3D + AI 的能力。这部分工作可能通过合作伙伴的 API,或者由其团队自行完成。

期待未来,新技术的进一步落地。

产业影眸科技RodinSIGGRAPH 2024
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

计算机图形技术

图像数据处理、计算机图像(英语:Computer Graphics)是指用计算机所创造的图形。更具体的说,就是在计算机上用专门的软件和硬件用来表现和控制图像数据。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

虚拟现实技术

虚拟现实,简称虚拟技术,也称虚拟环境,是利用电脑模拟产生一个三维空间的虚拟世界,提供用户关于视觉等感官的模拟,让用户感觉仿佛身历其境,可以及时、没有限制地观察三维空间内的事物。用户进行位置移动时,电脑可以立即进行复杂的运算,将精确的三维世界视频传回产生临场感。

信息熵技术

在信息论中,熵是接收的每条消息中包含的信息的平均量,又被称为信息熵、信源熵、平均自信息量。这里,“消息”代表来自分布或数据流中的事件、样本或特征。熵的单位通常为比特,但也用Sh、nat、Hart计量,取决于定义用到对数的底。

生成树技术

在图论的数学领域中,如果连通图 G的一个子图是一棵包含G 的所有顶点的树,则该子图称为G的生成树(SpanningTree)。生成树是连通图的包含图中的所有顶点的极小连通子图。图的生成树不惟一。从不同的顶点出发进行遍历,可以得到不同的生成树。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

三维重建技术

三维重建是指利用二维投影或影像恢复物体三维信息(形状等)的数学过程和计算机技术。

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。

推荐文章
暂无评论
暂无评论~