2021/08/05 14:58

ACL 2021 | 腾讯AI Lab、港中文杰出论文：用单语记忆实现高性能NMT

在 ACL 2021 的一篇杰出论文中，研究者提出了一种基于单语数据的模型，性能却优于使用双语 TM 的「TM-augmented NMT」基线方法。

自然语言处理（NLP）领域顶级会议 ACL 2021 于 8 月 2 日至 5 日在线上举行。据官方数据, 本届 ACL 共收到 3350 篇论文投稿，其中主会论文录用率为 21.3%。腾讯 AI Lab 共入选 25 篇论文（含 9 篇 findings）。

在不久之前公布的获奖论文中，腾讯 AI Lab 与香港中文大学合作完成的《Neural Machine Translation with Monolingual Translation Memory》获得杰出论文。本文作者也受邀参与机器之心举办的 ACL 2021 论文分享会，感兴趣的同学可以点击阅读原文查看回顾视频。

下面我们来看一下这篇论文的具体内容。

论文地址：https://arxiv.org/abs/2105.11269

先前的一些工作已经证明翻译记忆库（TM）可以提高神经机器翻译 (NMT) 的性能。与使用双语语料库作为 TM 并采用源端相似性搜索进行记忆检索的现有工作相比，该研究提出了一种新框架，该框架使用单语记忆并以跨语言方式执行可学习的记忆检索。该框架具有一些独特的优势：

首先，跨语言记忆检索器允许大量的单语数据作为 TM；
其次，记忆检索器和 NMT 模型可以联合优化以达到最终的翻译目标。

实验表明，该研究提出的方法获得了实质性的改进。值得注意的是，即使不使用额外单语数据，这种方法也要优于使用双语TM的「TM-augmented NMT」基线方法。由于能够利用单语数据，该研究还证明了所提模型在低资源和领域适应场景中的有效性。

方法

该研究首先将翻译任务转化为两步过程：检索和生成，并在论文中描述了跨语言记忆检索模型和记忆增强型（memory-augmented）翻译模型的模型设计。最后，该论文展示了如何使用标准最大似然训练联合优化这两个组件，并通过交叉对齐预训练解决了冷启动（cold-start）问题。

该方法的整体框架如图 1 所示，其中 TM 是目标语言

中句子的集合。给定源语言中的输入 x，检索模型首先会根据相关函数

，选择一些来自 Z 的可能有用的句子

，其中

。然后，翻译模型以检索到的集合

和原始输入 x 为条件，使用概率模型

来生成输出 y。

值得注意的是，相关性分数

也是翻译模型输入的一部分，它能够鼓励翻译模型更多地关注更相关的句子。在训练期间，该研究借助翻译参考的最大似然改进了翻译模型和检索模型。

检索模型

检索模型负责从大型单语 TM 中为源语句选出最相关的语句。这可能涉及测量源语句和数百万个候选目标语句之间的相关性分数，带来了严重的计算挑战。为了解决这个问题，该研究使用一个简单的双编码器框架（Bromley 等, 1993）来实现检索模型，这样最相关句子选择可以利用最大内积搜索实现（MIPS， Maximum Inner Product Search）。借助高性能数据结构和搜索算法（例如 Shrivastava 和 Li，2014；Malkov 和 Yashunin，2018），可以高效地进行检索。具体来说，该研究将源语句 x 和候选语句 z 之间的相关性分数 f(x, z) 定义为它们的密集向量表征的点积：

翻译模型

给定一个源语句 x、相关 TM 的小型集合

、相关性分数

，翻译模型会定义一个如下形式的条件概率

该翻译模型建立在标准的编码器 - 解码器 NMT 模型上：（源）编码器将源语句 x 转换为密集向量表征，解码器以自回归方式生成输出序列 y。在每一个时间步（time step）t，解码器都会处理先前生成的序列

和源编码器的输出，生成隐藏状态 h_t。然后隐藏状态 h_t 通过线性投影转换为 next-token 概率，接着会有一个 softmax 函数操作，即

为了容纳额外的记忆输入，该研究使用记忆编码器扩展了标准的编码器 - 解码器 NMT 框架，并允许使用从解码器到记忆编码器的交叉注意力机制。具体来说，记忆编码器对每个 TM 语句 z_i 单独进行编码，从而产生一组上下文 token 嵌入

，其中 L_i 是 token 序列 z_i 的长度。研究者计算了所有 TM 语句的交叉注意力：

为了使从翻译输出到检索模型的梯度流有效，该研究将注意力分数与相关性分数进行了偏置处理，重写了等式（1）如下所示：

训练

该研究在负对数似然损失函数

中使用随机梯度下降来优化模型参数 θ 和 φ，其中

指参考翻译。

然而，如果检索模型从随机初始化开始，那么所有 top TM 语句 z_i 可能都与 x 无关（或无用）。这导致检索模型无法接收有意义的梯度并进行改进，翻译模型将学会完全忽略 TM 输入。为了避免这种冷启动问题，该研究提出了两个交叉对齐任务来热启动检索模型。

第一个任务是句子级的交叉对齐。具体来说，该研究在每个训练 step 上对训练语料库采样 B 个源 - 目标对。设 X 和 Z 分别对应由 E_src 和 E_tgt 编码的源向量和目标向量的 (B×d) 矩阵。

是一个相关性分数的 (B×B) 矩阵，其中每一行对应一个源语句，每列对应一个目标语句。当 i = j 时，任何

对都应该对齐。目标是最大化矩阵对角线上的分数，然后减小矩阵中其他元素的值。损失函数可以写成：

第二个任务是 token 级交叉对齐，其目的是在给定源语句表征的情况下预测目标语言中的 token，反之亦然。该研究使用词袋损失：

其中

表示第 i 个源（目标）语句中的 token 集，token 概率由线性投影和 softmax 函数计算。

实验结果

该研究在三种设置下进行了实验：

（1）可用的 TM 仅限于双语训练语料库的常规设置；

（2）双语训练对很少，但用单语数据作为额外 TM 的低资源设置；

（3）基于单语 TM 的非参数域自适应设置。

常规设置

为了研究每个模型组件的效果，研究人员实现了一系列的模型变体（如表 2 中的 #1 - #5）：

如上表 2 所示，可以观察到：

（1）该研究使用异步索引刷新训练的完整模型（模型 #5），在四个翻译任务的测试集上获得了最佳性能，比 non-TM 基线（模型 #1）平均高出 3.26 个 BLEU 点，最高可达 3.86 个 BLEU 点（ De⇒En）。这一结果证实了单语 TM 可以提高 NMT 的性能。

（2）端到端学习检索器模型是大幅提高性能的关键，使用预训练的固定跨语言检索器只能提供中等的测试性能，微调 E_src 和固定 E_tgt 显著提高了性能，同时微调 E_src 和 E_tgt 则能获得最强的性能（模型 #5 > 模型 # 4 > 模型 #3)。

（3）跨语言检索（模型 #4 和模型 #5）可以获得比源相似性搜索（模型 #2）更好的结果。

低资源设置

图 2 为在测试集上的主要结果，所有实验的一般模式都是一致的，由结果可得：TM 越大，模型的翻译性能越好。当使用所有可用的单语数据 (4/4) 时，翻译质量显著提高。未经重新训练的模型的性能与经过重新训练的模型的性能相当，甚至更好。此外，该研究还观察到，当训练对非常少时（只有 1/4 的双语对可用），小型 TM 甚至会影响模型的性能，这可能是出于过拟合的原因。该研究推测，根据不同的 TM 大小调整模型超参数将获得更好的结果。

该研究还与反向翻译 (BT)进行了比较，这是一种将单语数据用于 NMT 的流行方法。该研究使用双语对训练目标到源的 Transformer Base 模型，并使用得到的模型翻译单语语句以获得额外的合成并行数据。如表 3 所示，该研究所用方法在 2/4 双语对上比 BT 表现得更好，但在 1/4 双语对上表现较差。最令人惊喜的是，结果表明两种方法是互补的，他们的结合使翻译性能取得了进一步的巨大提升。

非参数领域自适应

由下表 4 可得，当仅使用双语数据时，与 non-TM 基线相比，TM 增强模型在数据较少的域中获得更高的 BLEU 分数，但在其他域中的分数略低。然而，当研究者将 TM 切换到特定域的 TM 时，所有域的翻译质量都得到了显著提升，将 non-TM 基线平均提高了 1.85 个 BLEU 点，在 Law 上提高了 2.57 个 BLEU 点，在 Medical 上提高了 2.51 个 BLEU 点。

该研究还尝试将所有特定领域的 TM 合并成一个 TM，并将其用于所有域（如表 4 最后一行所示），但实验结果并没有获得明显的改进。这表明域外数据不能提供帮助，因此较小的域内 TM 就足够了。

运行速度

FAISS in-GPU 索引能够让搜索数百万个向量变得非常高效（通常在几十毫秒内完成）。在该研究中，记忆搜索的执行速度甚至比原生的 BM25 还要快。对于表 2 中的结果，以普通的 Transformer Base 模型（模型 #1）为基线模型，该研究模型（包括模型 #4 和模型 #5）的推断延迟大约是基线的 1.36 倍（所有模型都使用一个 Nvidia V100 GPU）。

至于训练成本，模型 #4 和模型 #5 每个训练 step 的平均时间成本分别是基线的 2.62 倍和 2.76 倍，与传统的 TM-augmented 基线相当（模型 #2 是 2.59 倍）（全部使用两个 Nvidia V100 GPU），实验结果如下表 5 所示。此外，该研究还观察到，就训练 step 而言，记忆增强型模型的收敛速度比普通模型快得多。

入门机器翻译香港中文大学腾讯AI LabNLPACL

相关数据

神经机器翻译技术

2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络（CNN）将给定的一段源文本编码成一个连续的向量，然后再使用循环神经网络（RNN）作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译（NMT）的诞生；神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型，而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外，RNN 应该还能得到无限长句子背后的信息，从而解决所谓的「长距离重新排序（long distance reordering）」问题。

来源：机器之心

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

随机梯度下降技术

梯度下降（Gradient Descent）是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知，使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。在机器学习中，我们可以利用随机梯度下降的方法来最小化训练模型中的误差，即每次迭代时完成一次评估和更新。这种优化算法的工作原理是模型每看到一个训练实例，就对其作出预测，并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

来源：机器之心

语料库技术

语料库一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记；事实上，语料库英文 "text corpus" 的涵意即为"body of text"。

来源：维基百科

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/