2022/09/08 16:22

用GFlowNets统一生成模型，Bengio等人数页论文给讲通了

Yoshua Bengio 指出的未来方向 GFlowNets 与现有的生成模型有什么关系？

生成流网络（GFlowNets）是图灵奖得主 Yoshua Bengio 对 AI 领域未来方向提出的想法。GFlowNets 基于强化学习、深度生成模型和概率建模，涉及变分模型及推断，为非参数贝叶斯建模、生成式主动学习以及抽象表征的无监督或自监督学习打开了新的大门。去年，Bengio 以一作的身份发表了长达 70 页的论文《GFlowNet Foundations》。

GFlowNets 灵感来源于信息在时序差分 RL 方法中的传播方式（Sutton 和 Barto，2018 年）。两者都依赖于 credit assignment 一致性原则，它们只有在训练收敛时才能实现渐近。由于状态空间中的路径数量呈指数级增长，因此实现梯度的精确计算比较困难，因此，这两种方法都依赖于不同组件之间的局部一致性和一个训练目标，即如果所有学习的组件相互之间都是局部一致性的，那么我们就得到了一个系统，该系统可以进行全局估计。

现在，Bengio 及其学生张鼎怀等发表了一篇新论文《Unifying Generative Models with GFlowNets》，简要介绍了现有深度生成模型与 GFlowNet 框架之间的联系，阐明了它们的重叠特征，并通过马尔可夫轨迹学习的视角提供了一个统一的观点，并进一步提供了一种统一训练和推理算法的方法。

论文地址：https://arxiv.org/abs/2209.02606

论文主要内容分成 6 个部分：

第一部分是 GFlowNets 的基本介绍。

第二部分是 Hierarchical VAE （HVAE），这是一类重要的生成模型。本文基于分析发现：HVAE 和 GFlowNets 之间存在细微差别，基于此他们得出两个观察：一是在某种定义下，HVAE 是一种特殊的 GFlowNets；另一个是两者在训练方式上，存在一些相似性。

第三部分是扩散模型 & SDE（ stochastic differential equatio ）：扩散模型也是一类重要的生成模型，是受非平衡热力学的启发，其与 VAE 或流动模型不同，扩散模型是用固定的程序学习的；而 SDE 可以看做是生成模型当中的一项重要技术。本文发现：在某种意义上，SDE 是 GFlowNets 的一种特殊情况，本文将随机过程特性和 GFlowNets 特性之间进行类比。

第四部分是精确似然模型，这里介绍了自回归模型（AR 模型），这是最常见的平稳时间序列模型之一，本文发现 AR 模型可以被视为 GFlowNets，此外，本文还发现 NF（归一化流）也是一种特殊的 GFlowNets。

第五部分是从数据中学习奖励函数，本文认为基于能量的模型（EBM）可以用作 GFlowNets 训练的 (负对数) 奖励函数，可以使用任何 GFlowNets 建模，并将其与 EBM 一起训练。

第六部分为总结，该论文将现有的生成模型解释为在样本轨迹上具有不同策略的 GFlowNets。这提供了一些关于现有生成建模框架之间重叠的见解，以及它们与用于训练它们的通用算法的联系。此外，这种统一意味着一种构建不同类型生成建模方法聚合的方法，其中 GFlowNets 充当易于处理的推理和训练的通用粘合剂。

作者简介

这篇论文的一作是蒙特利尔学习算法研究所（Mila）的博士生张鼎怀，导师是 Bengio 和 Aaron Courville。他的研究兴趣包括因果推理、分布外泛化、贝叶斯推理、生成模型、强化学习和主动学习等。

第二作者陈天琦是多伦多大学博士，现在是 Meta AI 的研究科学家。2018 年，陈天琦等人的论文《Neural Ordinary Differential Equations》获得 NeurIPS 最佳论文奖，引起了极大关注。他的主要研究兴趣是概率深度学习。

第三作者 Nikolay Malkin 是 Mila 的博士后研究员，另一位作者是图灵奖得主 Yoshua Bengio。

感兴趣的读者可以阅读论文原文，了解更多研究内容和理论细节。

参考链接：https://zhuanlan.zhihu.com/p/499206074

理论生成模型

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

随机过程技术

在概率论概念中，随机过程是随机变量的集合。若一随机系统的样本点是随机函数，则称此函数为样本函数，这一随机系统全部样本函数的集合是一个随机过程。实际应用中，样本函数的一般定义在时间域或者空间域。随机过程的实例如股票和汇率的波动、语音信号、视频信号、体温的变化，反对法随机运动如布朗运动、随机徘徊等等。

来源：维基百科

深度生成模型技术

深度生成模型基本都是以某种方式寻找并表达（多变量）数据的概率分布。有基于无向图模型（马尔可夫模型）的联合概率分布模型，另外就是基于有向图模型（贝叶斯模型）的条件概率分布。前者的模型是构建隐含层(latent)和显示层（visible)的联合概率，然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布，也就是给定一个随机采样的隐含层，模型可以生成数据。生成模型的训练是一个非监督过程，输入只需要无标签的数据。除了可以生成数据，还可以用于半监督的学习。比如，先利用大量无标签数据训练好模型，然后利用模型去提取数据特征（即从数据层到隐含层的编码过程），之后用数据特征结合标签去训练最终的网络模型。另一种方法是利用生成模型网络中的参数去初始化监督训练中的网络模型，当然，两个模型需要结构一致。

来源：机器之心 UT

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

主动学习技术

主动学习是半监督机器学习的一个特例，其中学习算法能够交互式地查询用户（或其他信息源）以在新的数据点处获得期望的输出。在统计学文献中，有时也称为最佳实验设计。

来源：Wikipedia

自回归模型技术

自回归模型，是统计上一种处理时间序列的方法，自回归模型被广泛运用在经济学、资讯学、自然现象的预测上。

来源：维基

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

陈天琦人物

多伦多大学博士，导师为David Duvenaud。2018年，陈天琦等人的论文《Neural Ordinary Differential Equations》获得此届NeurIPS最佳论文奖，引起了极大的关注。

自监督学习技术

一个例子中的内容特别多，而用一个例子做一个任务，就等于把其他的内容浪费了，因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分，用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分，就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」