PolyGen:3D 网格的自回归生成模型
DeepMind 近日发表论文推出新模型 PolyGen。论文导读如下:多边形网格是 3D 几何的有效表示,在计算机图形学、机器人技术和游戏开发中至关重要。现有基于学习的方法避免了使用 3D 网格的挑战,而是使用与神经体系结构和训练方法更兼容的替代对象表示。我们提出了一种直接建模网格的方法,使用基于 Transformer 的体系结构顺序预测网格的顶点和面。我们的模型可以以一系列输入为条件,包括对象类、体素和图像,并且该模型是概率性的,因此它可以生成捕获不确定环境中不确定性的样本。我们证明该模型能够生成高质量可用的网格,并为网格建模任务建立对数似然基准。我们还针对替代方法评估了表面重建指标的条件模型。