Emmanouil Antonios Platanios等作者白悦 刘晓坤编译

结合通用和专用NMT的优势,CMU为NMT引入「语境参数生成器」

通用和专用 NMT 模型分别在相似语言对和罕见语言对的翻译中具有优势,但这也反映了各自的劣势,取决于参数共享的程度。为此,CMU 的研究者在本文中提出了一种在两者之间取得平衡方法,不需要改变 NMT 原有架构,而是引入新的组件 CPG,来可控地实现不同语言对模型之间的参数共享。该组件可无缝整合不同的 NMT,并在基准数据集上取得当前最佳。研究者强调,该方法使我们更接近普适的中间语言。

神经机器翻译(NMT)无需单独训练或调整系统的任何部分就可以直接建模源语言到目标语言的映射。这使得 NMT 快速发展,并在许多大规模环境中成功应用 (Wu et al., 2016; Crego et al., 2016)。编码器-解码器抽象使构建将任何语言的源句映射到向量表示,再将向量表示解码到任何目标语言的系统在概念上变得可行。因此,人们提出了各种方法来扩展这种多语言机器翻译的抽象 (Luong et al., 2016; Dong et al., 2015; Johnson et al., 2017; Ha et al., 2016; Firat et al., 2016a)。

多语言 NMT 之前的工作可大致分为两种范式。第一个通用 NMT (Johnson et al., 2017; Ha et al., 2016) 对所有语言使用单一模型。通用 NMT 没有任何特定语言的参数化,在翻译截然不同的语言和数据有限的情况下,这种模式过于简单化且非常不利。通过实验验证,Johnson 等人的方法(2017)在高样本复杂度情况下性能变差,因此在有限的数据设置中表现不佳。Ha 等人提出的通用模型(2016)需要输入句子的新编码方案,这会导致过大的词汇量从而难以扩展。第二种范式,特定于每种语言的编码器-解码器 (Luong et al., 2016; Firat et al., 2016a),每种语言使用独立的编码器和解码器。这不允许跨语言共享信息,可能导致过度参数化,且在语言相似的情况下可能有害。

在本文中,CMU 的研究者在这两种方法之间取得了平衡,提出了一种能够分别为每种语言学习参数的模型,同时也能在相似语言之间共享信息。研究者使用了新的语境相关的参数生成器(CPG),它可以(a)泛化所有这些方法;(b)缓解上述通用和独立语言编码器-解码器系统的问题。它将语言嵌入作为翻译的语境进行学习,并用它们为所有语言对生成共享翻译模型的参数。因此,它为这些模型提供了每种语言单独学习参数的能力,同时也在相似语言之间共享信息。参数生成器是通用的,允许以这种方式增强任何现有的 NMT 模型。此外,它具有以下所期望的特征:

  1. 简单:类似 Johnson 等人(2017)和 Ha 等人(2016)的方法,且与 Luong 等人(2016 年)和 Firat 等人(2016a)的方法相反,它只需稍作修改就可以应用于大多数现有的 NMT 系统,并且能够无缝地容纳注意力层。

  2. 多语言:和之前相同,允许使用相同的单个模型进行多语言翻译。

  3. 半监督:可以使用单语数据。

  4. 可扩展:通过在语言间使用大量但可控的共享来减少参数的数量,从而减少大量数据的需求,如 Johnson 等人所述(2017)。它还允许语言的解耦,避免对大量共享词汇需求,如 Ha 等人所述(2016)。

  5. 适应性强:无需完全重新训练就可以适应新语言。

  6. 当前最先进的方法:比成对 NMT 模型和 Johnson 等人的模型具备更好的性能。(2017 年)。事实上,该方法优于最先进的性能。

作者首先介绍一个可用于定义和描述大多数现有 NMT 系统模块化框架,然后,在第 3 节中,将根据该框架介绍本研究的主要贡献,即语境参数生成器(CPG)。作者还论证了该方法使我们更接近普适的中间语言。

论文:Contextual Parameter Generation for Universal Neural Machine Translation

摘要:我们对现有神经机器翻译(NMT)模型进行了简单修正,允许使用单个通用模型完成多种语言之间的翻译,同时允许语言特定的参数化,并且还可以用于域适应。我们的方法不需要改变标准 NMT 系统的模型架构,而是引入了新的组件,即语境参数生成器(CPG),可以生成系统的参数(例如,神经网络中的权重)。该参数生成器接受源语言嵌入和目标语言嵌入作为输入,并分别为编码器和解码器生成参数。模型的其余部分保持不变,并在所有语言中共享。我们展示了这种简单的修正如何使系统使用单语数据进行训练并实现 zero-shot 翻译。我们进一步表明,它能够超越 IWSLT-15 和 IWSLT-17 数据集的当前最佳性能,并且学习的语言嵌入能够发现语言之间的有趣关系。

图 1:在我们的模块化框架下的 NMT 系统概述。我们的主要贡献在于参数生成器模块(即,耦合或解耦——具有蓝色字体的每个框是单独的选项)。注意,g 表示参数生成器网络。在我们的实验中,我们考虑该网络的线性形式。但是,我们的贡献并不取决于其他模块的选择;我们仍然可以将具有不同架构的参数生成器和不同类型的词汇表用于编码器和解码器。

表 1:我们提出的有基础成对 NMT(PNMT)模型的方法(阴影的一行)和用于 IWSLT-15 数据集的 Google 多语言 NMT 模型(GML)的比较。百分比的并列行显示训练时使用多少部分(1%、10%、100%)的平行语料库;其余的仅用作单语数据。表中显示了 BLEU 和 Meteor 指标的结果。CPG *表示与 CPG 相同的模型,但未使用自动编码训练样本进行训练。每种情况下的最佳分数加粗显示。

表 2:我们提出的有基础成对 NMT(PNMT)模型的方法(阴影的一行)和用于 IWSLT-17 数据集的 Google 多语言 NMT 模型(GML)的比较。因为 Meteor 不支持 It、Nl 和 Ro,所以仅显示了 BLEU 度量标准的结果,CPG8 表示使用 8 个语言嵌入来表示 CPG。「C4」下标表示用于受控参数共享的 CPG 的低级版本(参见第 3.1 节),使用等级 4 等。每种情况下的最佳得分加粗显示。

理论NMTCMUEMNLP 2018EMNLP
2
相关数据
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

语料库技术

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

推荐文章
暂无评论
暂无评论~