机器之心原创

2023/10/31 15:13

独家 | GPT-4、Midjourney之外，谭平创业团队要造一个3D基础模型

前段时间，OpenAI 发布了文生图模型 DALL・E 3，生成效果非常惊艳。比如，你可以让它一次画出几十个物体，然后再要求它把这些物体全部放到一个冲浪者的背上：

可以看到，DALL・E 3 不仅画出了足量的物体，就连冲浪者面对重压时的神情都刻画了出来。

但细心的网友也发现了一些问题：图中的铅笔等物体比例不太正常，模型似乎不太理解日常物品的大小比例关系。

类似的问题其实不仅存在于 DALL・E 3 等二维图像生成模型。当生成维度提升到三维时，问题变得更加突出：生成的动物可能会有多张脸、多个头或脸部凹陷而非凸起。这些在人类看起来属于常识的东西，模型似乎没有学到。

在香港科技大学电子与计算机工程系教授谭平看来，这些问题之所以存在，是因为现有的基础模型并没有充分地在 3D 维度上去理解真实世界。

「AI 最终需要解决真实世界的问题，那就必须要和物理世界发生联系。而我们这个物理世界是 3D 的，所以自然而然，AI 必须理解 3D，从而理解物理世界。」谭平指出。

作为在计算机视觉、计算机图形学领域工作了 20 多年的资深学者，谭平一直认为，3D 是人类视觉认知世界的基础，因此 3D 信息对于模型准确理解真实世界非常关键。它和之前被大量利用的文字信息互为补充，是一个亟待挖掘的「富矿」。如果能够创建一个 3D 基础模型，有效地挖掘这个「富矿」，AI 有望从语言走向物理，从字面走向现实，成为真正的、对真实世界有着深刻理解的「通用模型」。

^{谭平的 Google Scholar 主页，其论文被引量达到了五位数。}

基于这一理念，他所创立的 AI 科技公司 —— 光影焕像（Light Illusions）已经实现了一些基础技术上的突破：包括更准确的 3D 重建和更优秀的文生 3D 效果。

这些成果不仅可以应用于游戏、影视制作等行业，还会对 XR、具身智能等领域产生重要影响。

不过，由于 3D 数据严重匮乏，这件事做起来并不容易。为了了解该公司背后的技术以及这些技术可能创造的社会价值，机器之心与谭平博士展开了深入对谈。

3D 基础模型：AI 走向现实的必由之路

为什么要构建一个 3D 基础模型？在回答这个问题时，谭平选择从大规模预训练模型的本质开始讲起。

他表示，预训练模型本质上是在学习数据中的统计规律，希望从数据中发掘出各种对象之间的关联性，也就是「知识」。人类上千年文明沉淀下来的文字就蕴含了丰富的知识，比如逻辑、文学、历史、政治这些抽象的知识，所以能够训练出 GPT-4 这类优秀的大型语言模型。

但是，真实世界还有很多要素是难以被准确描述的，或因为司空见惯很少被描述，包括空间结构、几何形状、3D 运动、接触变形等等。

「由于文字存在这些局限，大家买房都需要看户型图，甚至通过 VR 看房来了解房间的空间结构，而不是光看文字描述；而设计师也需要给用户寄送 3D 样品才能让对方准确理解新产品的外观。」谭平举例说。

所以，谭平认为，要实现通用人工智能（AGI），我们需要两种类型的基础模型：一种是今天大家熟知的大语言模型（LLM），另一种则是视觉模型。两种模型学到的是不同类型的知识，互为补充。

不过，当前的一些视觉模型（比如 Midjourney）多是利用 2D 图像来训练的，因为这类数据数量庞大，模型可以从中学到不同物体所具备的特征以及特征之间的关联，具有很强的泛化性。但美中不足的是，这些数据终究只记录了真实世界的一个侧面，或者说投影，会严重影响模型的学习效率，出现前面提到的多头、多脸等问题。而如果将模型对数据的理解上升到 3D 维度，很多问题就会迎刃而解。

「自然界里面其实也是这个样子。所有的处于食物链顶端的物种，比如说灵长类和所有的猛禽、猛兽都是双眼朝前的，因为只有双眼朝前才有所谓的双目视觉，才能更好地感知三维信息。」谭平类比说。

因此，他们希望构建一个 3D 基础模型，来让机器更深刻地理解真实世界，并以此为基础改造世界。从技术上来讲，这个模型要能够帮助机器感知 3D 物体、3D 环境，理解形状、距离、空间位置关系等要素。同时，它还要有预判能力，预判这个 3D 世界将如何随时间演化，推演可能发生的事件。「比如，家庭服务机器人需要知道花瓶掉落地面可能会摔坏，自动驾驶汽车需要知道墙拐角后面可能会有车或人。」谭平举例说。

「3D 基础模型是一个非常宏大的目标，是让 AI 从语言走向物理，从字面走向现实的必由之路。一旦实现这个目标，机器就可以构建一个真实世界的虚拟数字复刻，在这个数字复刻中模拟、仿真各种可能性，并通过机器人技术最终改造真实世界。」这是谭平带领的光影焕像希望达到的最终愿景。

在技术路线上，谭平认为，3D 基础模型也将采用和文本、图像一致的生成式预训练方式。因为生成模型采用自监督学习来训练神经网络，可以非常有效地处理海量训练数据。不过，在此之前，他们必须解决一个问题：如何在 3D 数据极度匮乏的情况下训练 3D 生成模型。

3D 数据：表达真实世界的稀缺「富矿」

预训练模型的本质是从数据中提炼知识。从这个角度来看，我们可以从两个维度来考察数据的价值：一个是数据中知识的丰富度，另一个是数据的规模。作为真实世界的一种高度精确的表达方式，3D 数据毫无疑问具有很高的知识丰富度，就像经济价值极高的「富矿」。但从数据规模上来看，3D 数据是极度稀缺的，因为这类数据通常是由艺术家们手工制作的，或者用专业的设备扫描而来，不像文字、图像那样在互联网上随处可见。

为了让我们直观地了解 3D 数据的稀缺程度，谭平给出了一组数字：著名文生图模型 Stable Diffusion 使用了一个包含 50 亿个图像 - 文本对的数据集（LAION-5B）进行训练；但相比之下，当前最大的 3D 数据集 Objaverse-XL 数据量仅达千万级，而且其中还包含很多质量参差不齐的数据，清洗后实际可用的数据完全没有办法和文字图像进行类比。在这种情况下，如果只用 3D 原生数据去做训练，模型很容易过拟合，泛化性能会受到影响，能处理的任务非常有限。

^{3D 生成模型泛化能力不足的例子。在这几个例子中，模型分别被要求生成「骑着火箭的柯基」、「背着双肩包的猪」和「弹吉他的松鼠」，结果模型漏掉了一些元素。}

「3D 数据本来就在一个比 2D 数据更高维的空间，很可能需要更多的数据才能训练好模型。所以目前的数据是极为不足的。这是一个全行业的挑战，很难在短期内解决。」谭平介绍说。

为了应对这一问题，很多研究会选择基于 2D 数据来训练生成模型。比如一种常见的路线是先用 2D 生成模型生成一张 2D 图像，再用这张生成的图像去优化一个 3D 模型，然后重复这一过程，直到 3D 模型渲染的图像和生成模型产生的 2D 图像变得一致。这种方式的好处是训练数据易得，生成模型泛化能力强；局限性在于，由于 2D 生成模型学到的 3D 先验知识不够全面（比如缺乏关于相机视点的信息和物体的姿态、几何结构知识），生成的 3D 结果会出现多视角不一致等问题（如下图中的几何结构错乱）。

因此，光影焕像的目标是在 3D 数据稀缺的客观条件下，同时使生成模型的泛化能力、生成效果达到可落地水平。要突破这一目标，对 3D 数据的认知是破局关键之所在。

光影焕像技术路线：用好 3D 数据

2D 数据数量丰富，训练出的生成模型泛化能力强；3D 数据知识丰富度高，训练出的生成模型更懂 3D 世界。因此，光影焕像在打造 3D 模型时首创了基于多源数据的模型融合训练策略，把 2D、3D 数据都充分利用了起来，重点提升了 3D 数据的利用效率。

我们以一个熊的生成任务为例。单纯基于 2D 图像训练的模型经常会生成多视角不一致的图像（如下图）。

所谓的多视角不一致可以从两个方面来理解：几何不一致（如多个头）和外观不一致（如多张脸）。在一项相关研究中，光影焕像发现，大多数的多视角不一致问题源于几何结构的错位。即在将 2D 结果提升到 3D 世界时，由于 2D 生成模型仅学会了和视角无关的先验知识（颜色、纹理等在不同视角下都相同的信息），导致多视角不一致性问题。因此他们把主要目标定为通过改进 2D 生成模型，使其能够产生 3D 一致的几何结构，同时保持模型的通用性。

为了实现这一目标，团队提出了一种方法，即先用 2D 图像训练扩散模型，然后再用 3D 数据去对 2D 扩散模型进行对齐（align），使 2D 扩散模型具备视角感知能力，并生成规范坐标映射（CCM），从而在 2D 到 3D 的提升过程中与 3D 几何结构对齐。利用这一方法，光影焕像仅使用相对少量的 3D 数据，就能获得更强的结果，多视角不一致问题得到大大缓解。

而且，这样训练出的模型还保持了强大的泛化能力，支持更多样的创意（与仅基于 3D 数据训练的模型相比）。

^{不同模型文生 3D 效果。最右为光影焕像的模型生成效果。}

当然，除了文生 3D 之外，利用 2D 图像重建 3D 物体也是一个常见的方向。光影焕像的团队近期研发了一款通过手机拍照实现高质量三维重建的软件，这背后离不开更准确的相机姿态估计。

「我们团队过去有多年的三维视觉的技术积累，对于相机姿态求解更有经验，可以处理更复杂的数据。」谭平介绍说。

这些基础技术突破为光影焕像未来打造强大的 3D 基础模型打下了基础。

谭平：3D 基础模型刚刚起步

先解决技术问题才能加速拐点的到来

虽然是一家以技术起家的公司，但从谭平目前透露的信息来看，光影焕像并不崇尚「闭门造车」的做事方式，而是已经按照存量市场和增量市场的划分，展开了商业化落地的探索。

在存量市场上，3D 视觉在游戏、影视制作、物体 / 场景三维重建等 ToB 领域有着广阔的应用场景。这些领域需要消耗大量的 3D 资产，但资产的制作周期却很长，成本也很高，严重拖累了产品的迭代更新速度，这是谭平观察到的现象。

「不同于依赖专业人士制作 3D 资产，目前海外的一些公司（比如 Minecraft、Roblox 等游戏公司）采取开放策略，让用户自己快速制作 3D 内容，极大地挖掘了玩家的创意，提升了游戏的可玩性。但目前用户创建的内容质量都比较粗糙。我们的 3D 基础模型有机会实现更高质量的内容创建。」谭平介绍说。

从目前公布的技术进展中，我们也能看到光影焕像在这方面所做的努力。比如，他们的文生 3D 技术其实支持多种生成类型（模型、纹理、空间布局）和多种三维数据表达（经典网格模型、NeRF 等）。这意味着，他们的模型更容易集成到现有的渲染引擎、接到不同的应用中去。相比而言，今天很多文生 3D 的模型都是基于 NeRF 表达来设计的，这样可能就没办法直接应用于游戏等应用，而光影焕像的模型就更为灵活。

在以 XR、具身智能等前沿技术驱动的增量市场上，光影焕像同样大有可为。

比如，在研发 3D 生成模型过程中，他们发现，生成模型可以增强机器的泛化能力，帮助机器处理从未遇到过的场景问题：给定一个未知物体的图像，生成模型可以生成出这个物体适合被机械手抓取的点，然后结合三维坐标的深度信息形成稳定的抓取位置，控制机器人去抓取过去从未见过的物体，极大地提高了机器的通用抓取能力。

当然，这只是 3D 生成模型应用于机器人研究的一个例子。在更广阔的具身智能领域，许多任务（如物体的姿态估计、操作序列生成）都需要在 3D 空间中来完成，也都可以受益于 3D 基础模型的发展。「我们相信下一代消费级的计算终端终将到来，服务性机器人也终将会走到千家万户，3D 基础模型所带来的能力可以帮助这些智能设备理解真实物理世界，从而更好地完成各种任务。」谭平展望说。

不过，需要承认的一点是，现在的 3D 基础模型尚不成熟，可能处于 ChatGPT1.0 的水平。但是，我们还是可以明显看到技术的拐点。按照团队当前的研发规划，光影焕像有望在 2-3 年内达到生产级别的可用性。因此，谭平认为，现在的重心应该是解决底层的技术问题，所有的短期商业化策略都应该是为技术的迭代和公司实现自我造血服务的，真正的商业化爆发时间点将在技术成熟之后。

为此，他组建了一支精悍的技术团队。团队成员大都来自于互联网大厂，包括阿里、字节、美团等。他们在三维视觉领域都有多年的研发经验，也取得了很好的成绩，例如 2019 年 KITTI Depth Completion Benchmark 第一名、2020 年 Multi-view Stereo Benchmark 第一名、2022 年 KITTI/NYU Depth Estimation Benchmark 第一名等。他们研发出的一些底层技术也被外界广泛应用，比如在 2022 年 CVPR 的 Image Matching Challenge 中，前 6 名有一半的团队采用了他们提出的用于图像匹配的网络 QTA。

对于公司所选的这个方向，身为创始人的谭平有着坚定的信念。20 多年前，他被射影几何的优雅、简洁以及 3D 视觉理论的严谨、深邃所吸引，走进了这个领域。后来在企业工作的经历让他认识到，虽然 3D 很难，但是应用很丰富，不论是自动驾驶、机器人还是 AR/VR，各种应用都需要让机器理解真实物理世界，都离不开 3D 视觉。这坚定了他深耕 3D 这个方向的信心。

「我非常笃定，在退休之前，我做的工作肯定只会是三维视觉，肯定都是跟自动驾驶、机器人、AR/VR 眼镜相关的东西，除了这个我可能什么都不想碰。」谭平曾对学生说。

目前，谭平带领的这支创业团队已经得到了不少投资人的青睐。种子轮领投方清智资本合伙人张煜表示：

生成式 AI 是 AI 发展的新的里程牌。其中，3D 生成是 AIGC 发展的重要方向，也是行业难点。光影焕像团队具有世界顶尖的理论水平和扎实的实践功底，从基础模型层面上解决了包括生成模型的几何不一致和随机物体的自适应抓取等行业关键问题，使得 AI 向实用化迈出关键的一步，同时也大大推进了具身智能的商业落地，创造了基础理论的突破和巨大的产业价值。谭博士带领下的创业团队是一支有朝气、敢于突破创新、敢啃硬骨头的年轻团队，团队短时间内接连在理论研究、算法框架、工程实践、商业落地等各个方面获得了突破。作为专注于投资早期 AI 项目的创投基金，我们对团队未来发展充满信心，希望团队为社会发展和科技进步创造更大的贡献。

目前，光影焕像在 3D 基础模型方向的工作正在稳步推进，我们期待他们早日实现下一个突破。

产业光影焕像3D 基础模型

相关数据

计算机图形技术

图像数据处理、计算机图像（英语：Computer Graphics）是指用计算机所创造的图形。更具体的说，就是在计算机上用专门的软件和硬件用来表现和控制图像数据。

来源：维基百科

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

图像重建技术

通过物体外部测量的数据，经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用，显示人体各部分的图像，即计算机断层摄影技术，简称CT技术，后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

来源：百度百科

自动驾驶汽车技术

自动驾驶汽车，又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人，是自动化载具的一种，具有传统汽车的运输能力。作为自动化载具，自动驾驶汽车不需要人为操作即能感测其环境及导航。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

机器人技术技术

机器人学（Robotics）研究的是「机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。机器人可以分成两大类：固定机器人和移动机器人。固定机器人通常被用于工业生产（比如用于装配线）。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成，这也是人工智能领域最早的终极目标之一。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

美团机构

美团的使命是“帮大家吃得更好，生活更好”。作为中国领先的生活服务电子商务平台，公司拥有美团、大众点评、美团外卖、美团打车、摩拜单车等消费者熟知的App，服务涵盖餐饮、外卖、打车、共享单车、酒店旅游、电影、休闲娱乐等200多个品类，业务覆盖全国2800个县区市。

www.meituan.com

通用人工智能技术

通用人工智能（AGI）是具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标，也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI（strong AI）或者完全AI（full AI），或称机器具有执行通用智能行为（general intelligent action）的能力。与弱AI（weak AI）相比，强AI可以尝试执行全方位的人类认知能力。

来源：wikipedia

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/