机器之心原创

2024/03/18 11:47

从直观物理学谈到认知科学，Sora不是传统物理模拟器盖棺定论了？

本文篇幅很长，主题很多，但循序渐进，对「Sora 究竟是不是世界模拟器」这一说法给出了非常详实的解读。

最近，OpenAI 的文生视频模型 Sora 爆火。除了能够输出高质量的视频之外，OpenAI 更是将 Sora 定义为一个「世界模拟器」（world simulators）。

当然，这一说法遭到了包括图灵奖得主 Yann LeCun 在内很多学者的反驳。LeCun 的观点是：仅仅根据 prompt 生成逼真视频并不能代表一个模型理解了物理世界，生成视频的过程与基于世界模型的因果预测完全不同。

近日，澳大利亚麦考瑞大学的哲学助理教授 Raphaël Millière 撰写了一篇长文，深入探讨了 Sora 究竟是不是「世界模拟器」。

作者回顾了 Sora 的功能、工作原理以及它模拟 3D 场景属性的意义，讨论了认知科学中直观物理学文献、机器学习中「世界模型」的多义（多种解释）概念以及图像生成模型的可解释性研究。

结论是：Sora 并没有运行传统意义上的模拟，尽管它可能在更有限的意义上表现出了视觉场景的物理属性。但是，行为证据不足以充分评估 Sora 是世界模拟器这一说法。最后，作者对视频生成模型在未来 AI 和机器人学中的地位，以及它们与认知科学中正在进行的辩论之间的潜在相关性进行了预测。

本文主要内容包括如下：

引言
视频生成进展
Sora（可能的）工作原理
模拟假设
直观物理学
世界模型
再看 Sora
结论

机器之心对原文做了不改变原意的整理编译（以第一人称 zhankai）。

引言

今年 2 月 15 日，OpenAI 推出了 Sora，输入文本 prompts 来生成视频和图像。Sora 最长生成了 60 秒的短视频，不过该模型至今没有开放使用。在 Sora 技术报告中，OpenAI 将它称为「世界模拟器」，并解释了训练 Sora 的动机：

我们教 AI 理解和模拟运动中的物理世界，希望达成的目标是训练模型并让它们帮助人们解决需要真实世界交互的问题。

此外，OpenAI 对 Sora 理论意义的理解是这样的，「我们的结果表明，扩展视频生成模型对于构建物理世界的通用模拟器而言，是一条很有希望的发展路径。」

这些取自 OpenAI 博客和技术报告中的大胆言论，仅仅可以被看做是 PR 宣传，而不是学术论文，更不用说经过同行评议的研究了。当然，这不是我们第一次看到视频生成公司这样说了。比如视频生成领域顶级初创公司 Runway，它也有这样的声明：

所谓世界模型，即能够构建环境的内在表示并用它来模拟未来环境事件的 AI 系统。你可以将 Gen-2 等视频生成系统看作是非常早期和有限形式的通用世界模型。

除了 PR 之外，OpenAI、Runway 的这些言论提及了关于 SOTA 视频生成模型内在结构的真正有趣的问题。不过，像「世界模拟器」和「通用世界模型」这样的描述对于定义上述问题没有多大帮助。

因此，接下来，我将试图阐明这些神经网络拥有了模拟物理世界的内在模型到底意味着什么，以及我们是否有任何证据证明像 Sora 这类 AI 系统做到了如此。

视频生成领域进展

此前，视频生成技术实现了如下图所示的效果。这些短视频由名为 MoCoGAN-HD 的模型生成，出自 ICLR 2021 论文《A Good Image Generator Is What You Need for High-Resolution Video Synthesis》。作者将视频合成问题描述为在静态图像生成模型的潜在空间中发现轨迹，从而利用生成对抗网络中的解耦表示。

论文地址：https://arxiv.org/abs/2104.15069

然而，不到三年的时间，Sora 问世了，为视频生成领域树立了新的标准。Sora 的效果是这样的：

Sora 生成的视频首先看起来非常逼真，与真实视频几乎没有区别。如果从静帧的视角来看，高分辨率、纹理细节和构图都有助于实现这种前所未有的真实感。

此外，Sora 最令人印象深刻的是它的时间一致性。生成视频比生成静态图像的难点在于前者必须随时间推移保持连贯性，需要从一帧到下一帧地描述非常广泛的细节。这包括随时间推移连贯地匹配或修改场景元素（物体和角色）的属性，其中形状和纹理等静态属性通常保持不变，而运动和交互等动态属性根据物理定律变化。

同时相机运动带来了额外的挑战，场景及元素的 3D 几何和照明必须在旋转、倾斜、平移、缩放等情况下保持一致。这同样适用于场景过渡，如空间跳切。Sora 生成的视频满足了这些需求。

从以上动图，我们可以看到，尽管相机快速移动，但场景中的几何形状和主要元素保持一致。当然 Sora 远未达到完美，视频背景中会出现怪异的画面。尽管如此，Sora 已经比竞争对手好得多了。自 MoCoGAN-HD 推出以来，我们在短短几年内确实取得了长足的进步。

Sora（可能的）工作原理

Sora 背后的技术原理是怎样的呢？Sora 研发负责人之一 Bill Peebles 与纽约大学助理教授谢赛宁撰写的 DiT（扩散 Transformer）论文《Scalable Diffusion Models with Transformers》被认为是此次 Sora 背后的重要技术基础之一。

论文地址：https://arxiv.org/pdf/2212.09748v2.pdf
GitHub 地址：https://github.com/facebookresearch/DiT

这篇论文最早的版本是 2022 年 12 月，2023 年 3 月更新了第二版。当时，扩散模型在图像生成方面取得了惊人的成果，几乎所有这些模型都使用卷积 U-Net 作为主干。

因此，论文的目的是探究扩散模型中架构选择的意义，并为未来的生成模型研究提供经验基线。该研究表明，U-Net 归纳偏置对扩散模型的性能不是至关重要的，并且可以很容易地用标准设计（如 transformer）取代。

具体来说，研究者提出了一种基于 transformer 架构的新型扩散模型 DiT，并训练了潜在扩散模型，用对潜在 patch 进行操作的 Transformer 替换常用的 U-Net 主干网络。他们通过以 Gflops 衡量的前向传递复杂度来分析扩散 Transformer (DiT) 的可扩展性。

在 Sora 出现之前，DiT 架构已用于文本条件式图像和视频生成。OpenAI 自己的解决方案是「视频压缩网络」，这可能是一个适用于视频的 VAE。基本思想与原始 DiT 相同：

视频压缩网络将原始视频输入压缩为潜在的时空表示；
压缩后的视频变为「时空 patch」，并作为输入 token 馈入到扩散 Transformer 中；
在最后一个 Transformer 块之后，解码器模型（与视频压缩网络联合训练）将生成的潜在表示映射回像素空间。

据我所知，这就是 Sora 背后的技术要点。因此，很多人认为 Sora 的架构没有什么真正的突破之处，本质上可能是一个视频 DiT 模型。Sora 很大程度上是一项工程壮举，也是缩放能力的另一个证明。随着训练算力的增加，样本质量随之提高。正如大语言模型一样，某些功能会随着规模的扩展而出现。

当然，Sora 受益于其他一些技巧，比如 DALL-E 3 首创的重字幕技术。OpenAI 训练了一个高度描述性的字幕生成器模型，并用它为 Sora 训练集中的所有视频添加字幕。这增加了生成的视频对复杂文本的遵循性。此外，Sora 模型的所有用户提示也通过 GPT 模型进行增强。

与其他 OpenAI 的模型一样，Sora 的一大未知是它的训练数据。事实上，很多人猜测 Sora 部分根据合成数据（尤其是虚拟引擎 5 等视频游戏引擎的输出）进行训练，这将有意义地促使该模型学习不同的配置（不同角度、场景构图、相机运动路径等）。这或许可以部分解释为什么 Sora 的输出如此一致。

我们需要记住的最后一件事是：与标准潜在扩散模型一样，视频压缩网络编码器和解码器之间的扩散过程完全发生在潜在空间中，而不是像素空间。

模拟假设

每个人都同意 Sora 是一个令人印象深刻的模型。但除了生成逼真视频之外，Sora 还有更深层的属性吗？OpenAI 团队似乎这样认为，他们在技术报告中称，Sora 获得了规模化的「模拟能力」，并通过动态相机运动、遮挡、物体存继性和视频游戏模拟来实现场景一致性。

OpenAI 得出结论，这些功能表明了，视频模型的继续扩展是开发物理和数字世界，以及生活在其中的物体、动物和人的高性能模拟器的一条有希望的路径。

我们可以将这一说法称为模拟假设，但该假设的问题在于它太模糊了。对于视频生成模型而言，模拟物理世界实际意味着什么？哪些证据可以支持这一说法？让我们一一来解答。

Sora 发布后，AI 领域的知名学者纷纷发表对模拟假设的看法。其中英伟达高级研究科学家 Jim Fan 将 Sora 描述为「数据驱动的物理引擎」，他的解释为 Sora 通过大量视频的梯度下降在神经参数中隐式地学习物理引擎。Sora 是一个可学习的模拟器或「世界模型」。

^{来源：https://twitter.com/DrJimFan/status/1758210245799920123}

Sora 必须学习一些隐式的文本到 3D、3D 转换、光线追踪渲染和物理规则，以便尽可能准确地对视频像素进行建模。Sora 还必须学习游戏引擎的概念才能满足目标。

物理引擎术语有些令人困惑，尤其考虑到 Sora 可能是在虚拟引擎 5 的场景中接受训练的。我们首先需要澄清一点，即没有人（包括 Jim Fan）认真地暗示 Sora 在推理时确实有一个循环的物理引擎。换句话说，Sora 不会利用虚拟引擎的函数调用来生成视频。

这不仅仅因为我们完全不清楚它是如何工作的（资产、动画从哪里来），还因为 Sora 是一个 DiT 模型，而这些根本不是 DiT 的工作方式。

这里需要提一下，让神经网络调用物理引擎是以前尝试过的事情，但不是为了视频生成，而是为了物理推理。

此前，Ruibo Liu 等人（谷歌大脑团队、达特茅斯学院）在 2023 年发表的一篇论文《Mind's Eye: Grounded Language Model Reasoning through Simulation》中增强了一种语言模型，通过使用物理引擎（DeepMind 的 MuJoCo）模拟可能的结果，来提高在物理推理问题上的性能，并使用这些模拟的结果作为 prompt 中的提示。

^{论文地址：https://openreview.net/forum?id=4rXMRuoJlai}

此外，MIT 的 Josh Tenenbaum 实验室对这一工作进行了探索，使用语言模型将自然语言查询转换成概率编程语言中的代码表达式。为了能够对语言中描述的物理现象进行推理，Lionel Wong 及其同事将一个物理模拟引擎集成到了这个框架中。

他们在概率生成程序中添加了一个 Simulate_physicals 函数，该函数采用指定对象属性（如位置和速度）的初始符号场景状态，并返回场景属性，这些属性在物理、建模运动和碰撞情况的基础上随时间更新。此外通过将物理模拟添加为函数调用，语言描述可以转换为查询，并对描述的物理情况如何随时间推移发挥作用进行推理。

论文地址：https://arxiv.org/pdf/2306.12672.pdf

这显然与 Sora 的做法相差甚远，Sora 是一个端到端的神经网络，而不是一个神经符号系统。那么，我们该如何理解 Sora 类似于模拟物理世界的「数据驱动的物理引擎」这一说法，来自谷歌 DeepMind 的高级 AI 总监 Nando de Freitas 表示，有限大小的神经网络在任何情况下可以预测接下来会发生什么的唯一方法是：学习促进此类预测的内部模型，包括直观的物理定律。

看来我们越来越接近模拟假设的明确定义了：在拥有有限参数集的端到端神经网络架构之上的足够好的视频生成模型，在训练中应该能够获得物理世界的内部模型。这是这类神经网络生成任意场景中的一致和逼真视频的最有效方法，也可能是唯一方法。

那么，Sora 是否真的从 2D 视频中归纳出物理定律呢？如前所述，这看起来可能就很荒谬。比如 Sora 会以某种方式获得热力学定律的内部模型，这似乎令人难以置信。游戏引擎通常也不模拟这些法则，它们可能会模拟热效应（火灾、爆炸）和功（如物体克服摩擦移动），但这些模拟通常是高度抽象的，并不严格遵守热力学方程。并且游戏引擎也根本不需要这样做，它们的重点是渲染场景的视觉和交互可信度，而不是严格的物理准确性。

Sora 会做类似的事情吗？在回答这个问题之前，我们需要谈一谈直观物理学。

直观物理学

什么是直观物理学呢？对于人类而言，不仅仅是受过训练的物理学家，还包括外行甚至是婴儿，这些人都对物理世界有直观的理解。这就是认知科学家称为直观物理学的东西：一种快速、自动的日常推理，让人们知道各种物体相互作用时会发生什么，不需要有意识地思考物理计算。

研究表明，婴儿已经对物理世界的各个方面产生了稳定预期认知，包括物体持久性（即使看不见也知道物体的存在）、坚固性（物体不会相互洞穿）以及内聚力（物体是一起移动的连接整体）。即使在很小的时候，婴儿似乎也期待物体遵守某些物理原则，并将这些期望推广到新的物体，而不是必须单独学习每个特定物体的独特性。这是我们与生俱来的「核心知识」的一部分，而不是发展过程中学到的东西。

总之，人类很小的时候就非常善于理解物理世界及规则，无论与生俱来、还是后天习得，或者二者兼而有之。

如何做到的呢？认知科学中有一个重要假设：人们使用直观物理引擎（intuitive physics engine，IPE）在心理上模拟物理事件。该引擎近似现实中的物理动力学，并类似于计算机游戏中的物理引擎。

当我们观察物理场景时，可以根据嘈杂的感知证据来构建对物体、属性和作用力的心理表征，然后运行内部模拟来预测接下来发生什么。

^{图源：https://cicl.stanford.edu/papers/smith2023probabilistic.pdf}

更准确的说，IPE 是一种生成因果模型，通过对不精确但大致准确的物理原理的随机模拟，将不可观测的物理变量和不确定性映射成可观测的物理现象。IPE 表示物理场景中物体的潜在物理变量（如质量、摩擦力、弹性）。这些变量不能直接观察到，但控制了物体在场景中的行为方式。

这里只关注对 IPE 假说的一个反对意见，它与视频生成模型的争论尤其相关。一些研究人员认为，人们对物理场景的判断有时仅取决于表面的视觉特征，而不是底层的物理特征。比如仅在静态图像上训练的 ResNet-50 等深度神经网络可以判断积木塔的稳定性，其表现可与成年人媲美。此外，人们被发现依赖积木塔的外观，而不是摩擦等物理约束，儿童则完全忽视形状。

IPE 假说支持者的普遍反应是，依赖启发式的证据可以简单地解释为限制 IPE 模拟的边界条件和机制。没有任何模型会声称自己可以无限制地使用物理模拟来处理所有抽象推理，近似是不可避免的。

因此我认为底线是：至少对于人类而言，人们很容易通过假设 IPE 的存在来解释直观的物理推理，而该 IPE 使用近似原理对物理场景进行概率心理模拟。这一假设仍然存在争议，并且有支持和反对的证据。但是，模拟假设至少有一个相对合理且经过深思熟虑的案例，还有丰富的实验文献支持。有了这些背景，接下来我们谈谈世界模型。

世界模型

「世界模型」一词是技术术语之一，其含义已被逐渐淡化，以致在实践中变得难以描述。

2018 年，Ha David、Schmidhuber Jürgen 合作撰写了一篇名为《World Models》的论文，在这篇文章中，世界模型包含一个感知组件，用于处理原始观察并将其压缩为紧凑编码。

Ha 和 Schmidhuber 关于世界模型的研究影响了后来许多作品。

我们以最近的研究来举例，几天前，Google DeepMind 推出了参数为 110 亿的基础世界模型 Genie，可以通过单张图像提示生成可玩的交互式环境。在如下动图中，谷歌先使用 Imagen2 生成图像，再使用 Genie 将它们变为动态方式：

另一位推崇世界模型的是 Yann LeCun，曾经提出了一种名为 JEPA（联合嵌入预测架构）的框架，在这一框架下，世界模型是一个内部预测模型，描述世界如何运作：

除此以外，在 Sora 模型发布的当天，Meta 推出了一个全新的无监督「视频预测模型」——V-JEPA，与 JEPA 一脉相承。

V-JEPA 和 Sora 之间的主要区别之一是它们各自的学习目标，以及这些目标可能对其潜在表示产生的下游影响。Sora 接受了像素空间中帧重建的训练，而 V-JEPA 接受了潜在空间中特征预测的训练。在 LeCun 看来，像素级生成目标不足以引发对世界中的规划和行动有用的抽象表示。

综合来看，人们对世界模型的理解略有不同。在强化学习（RL）中，世界模型主要关注以智能体为中心的预测，以及基于智能体行为对环境状态的模拟。在 Yann LeCun 对自主机器智能的构想中，世界模型同样关注以智能体为中心的预测，不过这里的预测是通过自监督在潜在空间中学习得到的。无论是生成模型、RL 模型还是 JEPA 模型，它们都没有达到因果推理文献中对世界模型强大因果概念的高标准。至于像 Sora 这样的视频生成模型，我们可以通过观察图像生成模型来寻找线索。

再看 Sora

与用于图像生成的潜在扩散模型一样，Sora 是根据视觉输入进行端到端训练的。训练和生成都不是明确地以物理变量为条件的。Sora 从根本上不同于使用物理引擎来运行模拟的复合模型。此外，Sora 在感知、预测和决策模块之间没有内置分离。

除此以外，Sora 与 Ha & Schmidhuber 的世界模型也有很大不同，它不会基于离散行为、观察和奖励信号的历史来运行模拟。在这方面，OpenAI 的技术报告在讨论通过提示生成视频示例时提到了《我的世界》（Minecraft），这有点误导。

Sora 可能模拟了离线强化学习中的智能体策略，但与 Genie 不同，Sora 没有接受过从视频中诱发潜在动作的训练，并且输出也不以此类动作为条件。

^{通过提示 Sora 生成的视频}

然而，我们不能排除这样一个假设，Sora 是一个世界模拟器 —— 或者，稍微不那么夸张，在较弱意义上，它是一个世界模型。

然而这种观点受到了包括 LeCun、Gary Marcus 等在内的多位 AI 大佬的反对，这些批评者指出，Sora 生成的视频中公然违反了物理原理。不过 OpenAI 承认了这些局限，并提供了一些失败示例。例如，在下面示例中，人们可以看到明显的时空不一致，包括生成的视频违反重力、碰撞动力学、坚固性和物体持久性。

^{Sora 生成的视频违反重力和碰撞物理学}

^{Sora 生成的视频中椅子自己飘起来了}

这种视频的不一致性让我们感到不可思议，确实，示例中发生了一些奇怪的事情，如液体流过玻璃，椅子变成奇怪的形状，人在被遮挡时突然消失。

事实上，Sora 输出的结果很明显会在直观物理上出错。如果非要说 Sora 是一个较弱意义上的世界模型，那么它肯定不是一个完美的模型，甚至在各个方面都不完整。

与用于生成图像的潜在扩散模型一样，Sora 生成视频的过程并不发生在像素空间中，而是发生在潜在空间中 —— 时空 patch 潜在表示被编码的空间。

这一信息很重要，因为很多研究者认为 Sora 只是学习在逐帧像素变化中插入常见模式。Sora 架构中编码器和解码器之间发生的所有事情都发生在潜在空间中。对于 Sora 来说，直观物理相关的属性的潜在表示对于早期的生成过程（甚至在早期的扩散时间步长）具有因果效力，这并非难以置信。

结论

视频生成模型如 Sora 到底是不是世界模拟器，也许在某种意义上答案是肯定的。其视频生成过程不以直观物理的前向模拟为条件，而直观物理引擎可以做到这一点，但 Sora 有可能是由 3D 几何和动力学潜在表征塑造出来的。在后一种意义上，认为 Sora 是有限的世界模型是相当合理的。但这些都不能确定，我们需要用更多的方式探索 Sora。

在猜测的同时，我对视频生成模型的未来进行了一些预测。

我认为 Sora 不是一个特定意义上的模拟器，也许是一个功能更强大的视频生成模型。可以想象未来机器人系统会使用三个主要组件：（1）大规模视觉 - 语言模型，用于解析语言指令、翻译成规划并对视觉输入进行推理；（2）大规模视频生成模型，用于模拟未来可能的观察结果，以进行低级规划；(3) 通用可逆动力学模型，用于从这些模拟中提取合适的动作并相应地执行规划。也许（2）和（3）可以合并成一个通用的 Genie 风格的生成模型，或者三个模型都可以合并成一个巨大的 Gato 式多模态模型。

不管怎样，无论人们如何看待 Sora 和 OpenAI，思考视频生成背后的魔法都是令人兴奋。

^{参考链接：https://artificialcognition.net/posts/video-generation-world-simulators/}

理论SoraOpenAI

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

光线追踪技术

在计算机图形学中，光线跟踪是一种渲染技术，用于通过将光的路径跟踪为图像平面中的像素并模拟虚拟对象对光线的接收效果来生成图像。该技术能够产生非常高的视觉真实感，通常高于典型扫描线渲染方法，但计算成本更高。

来源：维基百科

随机模拟技术

随机模拟也称蒙特卡罗法或统计试验法，这种计算方法以概率与统计理论为基础，由威勒蒙和冯纽曼在20世纪40年代为研制核武器而首先提出，在此之前，作为该方法的基本思想，实际上早就被统计学家发现和利用。随机模拟是指在分析一个系统时，可先构造一个与该系统相似的模型，通过在模型上进行实验来研究原模型，这就是模拟。随机系统可以用概率模型来描述并进行实验，称为随机模拟方法。

来源：百度百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

图像生成技术

图像生成（合成）是从现有数据集生成新图像的任务。

来源：paperswithcode

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

生成对抗网络技术

生成对抗网络是一种无监督学习方法，是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成：用来拟合数据分布的生成网络G，和用来判断输入是否“真实”的判别网络D。在训练过程中，生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D，而D则尽可能的分辨真实数据和生成网络的输出，从而形成两个网络的博弈过程。理想的情况下，博弈的结果会得到一个可以“以假乱真”的生成模型。

来源：Generative Adversarial Networks

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/