2024/01/02 15:05

你没有看过的全新版本，Transformer数学原理揭秘

近日，arxiv 上发布了一篇论文，对 Transformer 的数学原理进行全新解读，内容很长，知识很多，十二分建议阅读原文。

2017 年，Vaswani 等人发表的《Attention is all you need》成为神经网络架构发展的一个重要里程碑。这篇论文的核心贡献是自注意机制，这是 Transformers 区别于传统架构的创新之处，在其卓越的实用性能中发挥了重要作用。

事实上，这一创新已成为计算机视觉和自然语言处理等领域人工智能进步的关键催化剂，同时在大语言模型的出现中也起到了关键作用。因此，了解 Transformers，尤其是自注意处理数据的机制，是一个至关重要但在很大程度上尚未充分研究的领域。

论文地址：https://arxiv.org/pdf/2312.10794.pdf

深度神经网络（DNNs）有一个共同特征：输入数据按照顺序，被逐层处理，形成一个时间离散的动态系统（具体内容可以参考 MIT 出版的《深度学习》，国内也被称为「花书」）。这种观点已被成功地用于将残差网络建模到时间连续的动态系统上，后者被称为神经常微分方程（neural ODEs）。在神经常微分方程中，输入图像

在时间间隔（0，T）上会按照给定的时变速度场

进行演化。因此，DNN 可以看作是从一个

到另一个

的流映射（Flow Map）

。即使在经典 DNN 架构限制下的速度场

中，流映射之间也具有很强的相似性。

研究者们发现，Transformers 实际上是在

上的流映射，即 d 维概率测度空间（the space of probability measures）间的映射。为了实现这种在度量空间间进行转换的流映射，Transformers 需要建立了一个平均场相互作用的粒子系统（mean-field interacting particle system.）。

具体来说，每个粒子（在深度学习语境下可以理解为 token）都遵循向量场的流动，流动取决于所有粒子的经验测度（empirical measure）。反过来，方程决定了粒子经验测量的演变进程，这个过程可能会持续很长时间，需要进行持续关注。

对此，研究者的主要观察结果是，粒子们往往最终会聚集到一起。这种现象在诸如单向推导（即预测序列中的下一个词）的学习任务中会尤为明显。输出度量对下一个 token 的概率分布进行编码，根据聚类结果就可以筛选出少量可能的结果。

本文的研究结果表明，极限分布实际上是一个点质量，不存在多样性或随机性，但这与实际观测结果不符。这一明显的悖论因粒子存在长时间的可变状态得到解决。从图 2 和图 4 中可以看出，Transformers 具有两种不同的时间尺度：在第一阶段，所有 token 迅速形成几个簇，而在第二阶段（较第一阶段速度慢得多），通过簇的成对合并过程，所有 token 最终坍缩为一个点。

本文的目标有两个方面。一方面，本文旨在提供一个从数学角度研究 Transformers 通用且易于理解的框架。特别是，通过这些相互作用粒子系统的结构，研究者可以将其与数学中的既定主题建立具体联系，包括非线性传输方程、Wasserstein 梯度流、集体行为模型和球面上点的最优化配置等。另一方面，本文描述了几个有前景的研究方向，并特别关注长时间跨度下的聚类现象。研究者提出的主要结果指标都是新的，并且还在整篇论文中提出了他们认为有趣的开放性问题。

本文的主要贡献分为三个部分。

第 1 部分：建模。本文定义了 Transformer 架构的理想模型，该模型将层数视为连续时间变量。这种抽象方法并不新颖，与 ResNets 等经典架构所采用的方法类似。本文的模型只关注 Transformer 架构的两个关键组成部分：自注意力机制和层归一化。层归一化有效地将粒子限制在单位球

的空间内部，而自注意力机制则是通过经验度量实现粒子之间的非线性耦合。反过来，经验度量根据连续性偏微分方程进行演化。本文还为自注意引入了一个更简单好用的替代模型，一个能量函数的 Wasserstein 梯度流，而能量函数在球面上点的最优配置已经有成熟的研究方法。

第二部分：聚类。在这一部分，研究者提出了在较长时间跨度下，token 聚类的新的数学结果。如定理 4.1 表明，在高维空间中，一组随机初始化在单位球上的 n 个粒子会在

时聚成一个点。研究者对粒子集群收缩率的精确描述对这一结果进行了补充说明。具体来说，研究者绘制了所有粒子间距离的直方图，以及所有粒子快要完成聚类的时间点（见原文第 4 节）。研究者还在不假设维数 d 较大的情况下就得到了聚类结果（见原文第 5 节）。

第 3 部分：未来展望。本文主要以开放式问题的形式提出问题，并通过数字观测加以证实，以此提出了未来研究的潜在路线。研究者首先关注维数 d = 2 的情况（见原文第 6 节），并引出与 Kuramoto 振荡器的联系。然后简要展示了如何通过对模型进行简单而自然的修改，解决球面最优化相关的难题（见原文第 7 节）。接下来的章节探讨了相互作用的粒子系统，这些粒子系统使得对 Transformer 架构中的参数进行调整成为可能，日后可能会进一步产生实际应用。

理论TransformerarXiv

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

概率分布技术

概率分布（probability distribution）或简称分布，是概率论的一个概念。广义地，它指称随机变量的概率性质－－当我们说概率空间中的两个随机变量具有同样的分布（或同分布）时，我们是无法用概率来区别它们的。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

层归一化技术

深度神经网络的训练是具有高度的计算复杂性的。减少训练的时间成本的一种方法是对神经元的输入进行规范化处理进而加快网络的收敛速度。层规范化是在训练时和测试时对数据同时进行处理，通过对输入同一层的数据进行汇总，计算平均值和方差，来对每一层的输入数据做规范化处理。层规范化是基于批规范化进行优化得到的。相比较而言，批规范化是对一个神经元输入的数据以mini-batch为单位来进行汇总，计算平均值和方法，再用这个数据对每个训练样例的输入进行规整。层规范化在面对RNN等问题的时候效果更加优越，也不会受到mini-batch选值的影响。

来源：Ba J L, Kiros J R, Hinton G E. Layer Normalization

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科