2022/08/19 10:33

参数量1/50，Meta发布110亿参数模型，击败谷歌PaLM

Yann LeCun 表示：Atlas 是一个不太大的语言模型，具有 110 亿参数，在问答和事实核查方面击败了「大家伙」。

我们可以将大型语言模型（LLMs）理解为小样本学习者，其能够通过很少的例子就能学习新任务，甚至仅通过简单的说明就能学习，其中对模型参数量和训练数据的大小进行扩展是模型拥有泛化能力的关键。LLMs 的这种提升归功于更强大算力和存储能力。直观上，推理能力的提高会带来更好的泛化，从而减少样本的学习，然而目前还不清楚有效的小样本学习在多大程度上需要大量的模型参数知识。

目前为止检索增强模型还没有展示出令人信服的小样本学习能力。论文中，来自 Meta AI Research 等机构的研究者提出小样本学习是否需要模型在其参数中存储大量信息，以及存储是否可以与泛化解耦。他们提出 Atlas，其是检索增强语言模型的一种，拥有很强的小样本学习能力，即使参数量低于目前其它强大的小样本学习模型。

模型采用非参数存储，即使用基于大型外部非静态知识源上的神经检索器去增强参数语言模型。除了存储能力，此类架构在适应性、可解释性和效率方面都存在优势，因此很有吸引力。

论文地址：https://arxiv.org/pdf/2208.03299.pdf

Atlas 检索相关文档是基于 Contriever 双编码器架构的通用密度检索器，检索文件时基于当前上下文检索相关文件。检索到的文档与当前上下文一起交由序列到序列模型处理，该模型使用 Fusion-in-Decoder 架构生成相应的输出。

作者研究了不同技术对训练 Atlas 在一系列下游任务（包括问答和事实检查）上的小样本数据集性能的影响。研究发现联合预训练组件对于小样本性能至关重要，作者评估了许多现有和新颖的预训练任务和方案，Atlas 在小样本和资源丰富的环境中都拥有强大的下游性能。

在只有 11B 个参数的情况下，Atlas 使用 64 个训练示例在 NaturalQuestions（NQ）上实现了 42.4% 准确率，比 540B 参数模型 PaLM（ 39.6% ）高出近 3 个百分点，在全数据集设置中（Full）达到 64.0% 准确率。

Yann LeCun 表示：Atlas 是一个不太大的语言模型（11B 参数），在问答和事实核查方面击败了「大家伙」。Atlas 主要区别在于它可以从语料库中检索事实。

方法概览

Atlas 遵循文本到文本框架。这意味着所有任务的总体框架是：系统以文本查询作为输入，生成文本输出。例如，在问答任务情况下，查询对应于问题，模型需要生成答案。在分类任务情况下，查询对应于文本输入，模型生成类标签，即标签对应的词。图 2 中的 KILT 基准给出了更多下游任务的示例。许多自然语言处理任务需要知识，Atlas 的目标是通过检索增强标准文本到文本模型，因为检索可能对于模型小样本场景下的学习能力至关重要。

架构

Atlas 模型基于两个子模型：检索器和语言模型。当执行任务时，从问答到生成 Wikipedia 文章，模型首先通过检索器从大型文本语料库中检索前 k 个相关文档。然后，这些文档连同查询一起作为输入给到语言模型，生成输出。检索器和语言模型都基于预训练的 transformer 网络，下面对它们做详细介绍。

检索器：Atlas 的检索器模块基于 Contriever，这是一种基于连续密度嵌入的信息检索技术。Contriever 使用双编码器架构，其中查询和文档由 transformer 编码器独立嵌入。平均池化应用于最后一层的输出，以获得每个查询或文档的向量表示。然后通过计算查询和每个文档间的相互嵌入的点积，得到它们的相似度分数。Contriever 模型使用 MoCo 对比损失进行预训练，并且仅使用无监督数据。密度检索器的优点之一是查询和文档编码器都可以在没有文档注释的情况下使用标准技术（例如梯度下降和蒸馏）进行训练。

语言模型：对于语言模型，Atlas 依赖于 T5 序列到序列架构。模型同时也依赖于对序列到序列模型的 Fusion-in-Decoder 修改，并在编码器中独立处理每个文档。之后模型连接对应于不同文档的编码器的输出，并在解码器中对单个序列执行 cross-attention。模型把查询连接到编码器中的每个文档。在语言模型中处理检索到的文档的另一种方法是将查询和所有文档连接起来，并使用这个长序列作为模型的输入。但这种方法可扩展性较差，即它不会随着文档的数量增多而扩展，因为编码器中的自注意力机制会导致 O(n^2)的时间复杂度(这里 n 是文档数量)。

实验结果

作者在 NaturalQuestions 和 TriviaQA 这两个开放域问答基准上评估 Atlas。并且分别使用 64 个样例的小样本数据集和完整的训练集，与之前的工作进行比较，详细对比见下表。

NaturalQuestions 和 TriviaQA 的 64-shot 问答中表现最优。特别是它优于更大的模型 (PaLM) 或需要更多训练计算的模型(Chinchilla)。在使用全量的训练集时，Atlas 也能到最优结果，例如把 NaturalQuestions 的准确率从 55.9% 提高到 60.4%。这个结果是在 Atlas 的默认设置下，使用由 CCNet 和 2021 年 12 月 Wikipedia 语料库组成的索引获得的。

下表展示了在事实核查数据集 FEVER 上的测试结果。

Atlas 在 64-shot 情况下，训练样例采样自全量训练集。Atlas 达到了 64.3% 的准确率。而在 15-shot 的情况下，从每个类中统一采样 5 个样例，与 Gopher 结果比较，Atlas 准确率为 56.2%，比 Gopher 高 5.1 个百分点。在全量训练集上微调 Atlas 模型，达到 78% 的准确率，比 ProoFVer 低 1.5%。ProoFVer 使用专门的架构，用句子级注释训练的检索器，并由维基百科语料库提供与 FEVER 一起发布，而 Atlas 从 CCNet 和 2021 年 12 月的维基百科转储中检索。当给 Atlas 由 FEVER Wikipedia 语料库组成的索引，Atlas 取得了 80.1% 最优水平。

为验证 Atlas 的性能，Atlas 在 KILT 进行了评估，KILT 是由几个不同的知识密集型任务组成的基准。下表展示了测试集的结果。

Atlas 64-shot 在实验中远远超过随机算法，甚至与排行榜上的某些经过微调的模型不相上下。如在 FEVER 上，Atlas 64-shot 仅落后 Sphere、SEAL 和 Re2G 2-2.5 分，而在 zero-shot RE 上的表现优于 Sphere 和 SEAL。在全量数据集上，Atlas 在 3 个数据集的表现与最好的模型相差在 3% 以内，但在其余 5 个数据集中是表现最好的。

理论预训练大模型

相关数据

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

时间复杂度技术

在计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，亦即考察输入值大小趋近无穷时的情况。例如，如果一个算法对于任何大小为 n （必须比 n0 大）的输入，它至多需要 5n3 + 3n 的时间运行完毕，那么它的渐近时间复杂度是 O(n3)。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

语料库技术

语料库一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记；事实上，语料库英文 "text corpus" 的涵意即为"body of text"。

来源：维基百科

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

序列到序列技术

参数模型技术

在统计学中，参数模型是可以使用有限数量的参数来描述的分布类型。这些参数通常被收集在一起以形成单个k维参数矢量θ=（θ1，θ2，...，θk）。

来源：Wikipedia

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

小样本学习技术

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

来源：知乎