2023/05/16 14:48

机器之心编辑部报道

一定要「分词」吗？Andrej Karpathy：是时候抛弃这个历史包袱了

ChatGPT 等对话 AI 的出现让人们习惯了这样一件事情：输入一段文本、代码或一张图片，对话机器人就能给出你想要的答案。但在这种简单的交互方式背后，AI 模型要进行非常复杂的数据处理和运算，tokenization 就是比较常见的一种。

在自然语言处理领域，tokenization 指的是将文本输入分割成更小的单元，称为「token」。这些 token 可以是词、子词或字符，取决于具体的分词策略和任务需求。例如，如果对句子「我喜欢吃苹果」执行 tokenization 操作，我们将得到一串 token 序列：["我", "喜欢", "吃", "苹果"]。有人将 tokenization 翻译成「分词」，但也有人认为这种翻译会引起误导，毕竟分割后的 token 未必是我们日常所理解的「词」。

图源：https://towardsdatascience.com/dynamic-word-tokenization-with-regex-tokenizer-801ae839d1cd

Tokenization 的目的是将输入数据转换成计算机可以处理的形式，并为后续的模型训练和分析提供一种结构化的表示方式。这种方式为深度学习研究带来了便利，但同时也带来了很多麻烦。前段时间刚加入 OpenAI 的 Andrej Karpathy 指出了其中几种。

首先，Karpathy 认为，Tokenization 引入了复杂性：通过使用 tokenization，语言模型并不是完全的端到端模型。它需要一个独立的阶段进行 tokenization，该阶段有自己的训练和推理过程，并需要额外的库。这增加了引入其他模态数据的复杂性。

此外，tokenization 还会在某些场景下让模型变得很容易出错，比如在使用文本补全 API 时，如果你的 prompt 以空格结尾，你得到的结果可能大相径庭。

图源：https://blog.scottlogic.com/2021/08/31/a-primer-on-the-openai-api-1.html

再比如，因为 tokenization 的存在，强大的 ChatGPT 竟然不会将单词反过来写（以下测试结果来自 GPT 3.5）。

这样的例子可能还有很多。Karpathy 认为，要解决这些问题，我们首先要抛弃 tokenization。

Meta AI 发表的一篇新论文探讨了这个问题。具体来说，他们提出了一种名为「 MEGABYTE」的多尺度解码器架构，可以对超过一百万字节的序列进行端到端可微建模。

论文链接：https://arxiv.org/pdf/2305.07185.pdf

重要的是，该论文展现出了抛弃 tokenization 的可行性，被 Karpathy 评价为「很有前途（Promising）」。

以下是论文的详细信息。

论文概览

在机器学习的文章中讲过，机器学习之所以看上去可以解决很多复杂的问题，是因为它把这些问题都转化为了数学问题。

而 NLP 也是相同的思路，文本都是一些「非结构化数据」，我们需要先将这些数据转化为「结构化数据」，结构化数据就可以转化为数学问题了，而分词就是转化的第一步。

由于自注意力机制和大型前馈网络的成本都比较高，大型 transformer 解码器 (LLM) 通常只使用数千个上下文 token。这严重限制了可以应用 LLM 的任务集。

基于此，来自 Meta AI 的研究者提出了一种对长字节序列进行建模的新方法 ——MEGABYTE。该方法将字节序列分割成固定大小的 patch，和 token 类似。

MEGABYTE 模型由三部分组成：

patch 嵌入器，它通过无损地连接每个字节的嵌入来简单地编码 patch；
全局模块 —— 带有输入和输出 patch 表征的大型自回归 transformer；
局部模块 —— 一个小型自回归模型，可预测 patch 中的字节。

至关重要的是，该研究发现对许多任务来说，大多数字节都相对容易预测（例如，完成给定前几个字符的单词），这意味着没有必要对每个字节都使用大型神经网络，而是可以使用小得多的模型进行 intra-patch 建模。

MEGABYTE 架构对长序列建模的 Transformer 进行了三项主要改进：

1. sub-quadratic 自注意力。大多数关于长序列模型的工作都集中在减少自注意力的二次成本上。通过将长序列分解为两个较短的序列和最佳 patch 大小，MEGABYTE 将自注意力机制的成本降低到

，即使是长序列也能易于处理。

2. per-patch 前馈层。在 GPT-3 等超大模型中，超过 98% 的 FLOPS 用于计算 position-wise 前馈层。MEGABYTE 通过给 per-patch（而不是 per-position）使用大型前馈层，在相同的成本下实现了更大、更具表现力的模型。在 patch 大小为 P 的情况下，基线 transformer 将使用具有 m 个参数的相同前馈层 P 次，而 MEGABYTE 仅需以相同的成本使用具有 mP 个参数的层一次。

3. 并行解码。transformer 必须在生成期间串行执行所有计算，因为每个时间步的输入是前一个时间步的输出。通过并行生成 patch 的表征，MEGABYTE 在生成过程中实现了更大的并行性。例如，具有 1.5B 参数的 MEGABYTE 模型生成序列的速度比标准的 350M 参数 transformer 快 40%，同时在使用相同的计算进行训练时还改善了困惑度（perplexity）。

总的来说，MEGABYTE 让我们能够以相同的计算预算训练更大、性能更好的模型，将能够处理非常长的序列，并提高部署期间的生成速度。

MEGABYTE 还与现有的自回归模型形成鲜明对比，后者通常使用某种形式的 tokenization，其中字节序列被映射成更大的离散 token（Sennrich et al., 2015; Ramesh et al., 2021; Hsu et al., 2021）。tokenization 使预处理、多模态建模和迁移到新领域变得复杂，同时隐藏了模型中有用的结构。这意味着大多数 SOTA 模型并不是真正的端到端模型。最广泛使用的 tokenization 方法需要使用特定于语言的启发式方法（Radford et al., 2019）或丢失信息（Ramesh et al., 2021）。因此，用高效和高性能的字节模型代替 tokenization 将具有许多优势。

该研究对 MEGABYTE 和一些强大的基线模型进行了实验。实验结果表明，MEGABYTE 在长上下文语言建模上的性能可与子词模型媲美，并在 ImageNet 上实现了 SOTA 的密度估计困惑度，并允许从原始音频文件进行音频建模。这些实验结果证明了大规模无 tokenization 自回归序列建模的可行性。

MEGABYTE 主要组成部分

patch 嵌入器

大小为 P 的 patch 嵌入器能够将字节序列

映射成一个长度为

、维度为

的 patch 嵌入序列。

首先，每个字节都嵌入了一个查找表，形成一个大小为 D_G 的嵌入，并添加了位置嵌入。

然后，字节嵌入被重塑成维度为

的 K 个 patch 嵌入的序列。为了允许自回归建模，该 patch 序列被填充以从可训练的 patch 大小的填充嵌入（

），然后从输入中移除最后一个 patch。该序列是全局模型的输入，表示为

。

全局模块

全局模块是一个 decoder-only 架构的 P・D_G 维 transformer 模型，它在 k 个 patch 序列上进行操作。全局模块结合自注意力机制和因果掩码来捕获 patch 之间的依赖性。全局模块输入 k 个 patch 序列的表示

，并通过对先前 patch 执行自注意力来输出更新的表示

。

最终全局模块的输出

包含 P・D_G 维的 K 个 patch 表示。对于其中的每一个，研究者将它们重塑维长度为 P、维度为 D_G 的序列，其中位置 p 使用维度 p・D_G to (p + 1)・D_G。然后将每个位置映射到具有矩阵

的局部模块维度，其中 D_L 为局部模块维度。接着将这些与大小为 D_L 的字节嵌入相结合，用于下一个

的 token。

局部字节嵌入通过可训练的局部填充嵌入（E^local-pad ∈ R^DL）偏移 1，从而允许在 path 中进行自回归建模。最终得到张量

局部模块

局部模块是一个较小的、decoder-only 架构的 D_L 维 transformer 模型，它在包含 P 个元素的单个 patch k 上运行，每个元素又是一个全局模块输出和序列中前一个字节的嵌入的总和。K 个局部模块副本在每个 patch 上独立运行，并在训练时并行运行，从而计算表示

。

最后，研究者可以计算每个位置的词汇概率分布。第 k 个 patch 的第 p 个元素对应于完整序列的元素 t，其中 t = k・P + p。

效率分析

训练效率

在缩放序列长度和模型大小时，研究者分析了不同架构的成本。如下图 3 所示，MEGABYTE 架构在各种模型大小和序列长度上使用的 FLOPS 少于同等大小的 transformer 和线性 transformer，允许相同的计算成本下使用更大的模型。

生成效率

考虑这样一个 MEGABYTE 模型，它在全局模型中有 L_global 层，在局部模块中有 L_local 层，patch 大小为 P，并与具有 L_local + L_global 层的 transformer 架构进行比较。用 MEGABYTE 生成每个 patch 需要一个 O (L_global + P・L_local) 串行操作序列。当 L_global ≥ L_local（全局模块的层多于局部模块）时，MEGABYTE 可以将推理成本降低近 P 倍。

实验结果

语言建模

研究者在强调长程依赖的 5 个不同数据集上分别评估了 MEGABYTE 的语言建模功能，它们是 Project Gutenberg (PG-19)、Books、Stories、arXiv 和 Code。结果如下表 7 所示，MEGABYTE 在所有数据集上的表现始终优于基线 transformer 和 PerceiverAR 。

研究者还扩展了在 PG-19 上的训练数据，结果如下表 8 所示，MEGABYTE 显著优于其他字节模型，并可与子词（subword）上训练的 SOTA 模型相媲美。

图像建模

研究者在 ImageNet 64x64 数据集上训练了一个大型 MEGABYTE 模型，其中全局和局部模块的参数分别为 2.7B 和 350M，并有 1.4T token。他们估计，训练该模型所用时间少于「Hawthorne et al., 2022」论文中复现最佳 PerceiverAR 模型所需 GPU 小时数的一半。如上表 8 所示，MEGABYTE 与 PerceiverAR 的 SOTA 性能相当的同时，仅用了后者一半的计算量。

研究者比较了三种 transformer 变体，即 vanilla、PerceiverAR 和 MEGABYTE，以测试在越来越大图像分辨率上长序列的可扩展性。结果如下表 5 所示，在这一计算控制设置下，MEGABYTE 在所有分辨率上均优于基线模型。

下表 14 总结了每个基线模型使用的精确设置，包括上下文长度和 latent 数量。

音频建模

音频兼具文本的序列结构和图像的连续属性，这对 MEGABYTE 而言是一个有趣的应用。本文模型获得 3.477 的 bpb，明显低于 perceiverAR（3.543）和 vanilla transformer 模型（3.567）。更多消融结果详见下表 10。

更多技术细节和实验结果请参阅原论文。

理论分词tokenization

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

概率分布技术

概率分布（probability distribution）或简称分布，是概率论的一个概念。广义地，它指称随机变量的概率性质－－当我们说概率空间中的两个随机变量具有同样的分布（或同分布）时，我们是无法用概率来区别它们的。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

自回归模型技术

自回归模型，是统计上一种处理时间序列的方法，自回归模型被广泛运用在经济学、资讯学、自然现象的预测上。

来源：维基

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科