迁移学习 + BPE，改进低资源语言的神经翻译结果

在本论文中，作者结合迁移学习与 BPE 方法，使用低资源的相关语言的平行数据改进同样低资源语言的神经机器翻译结果。

论文：Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation

链接：https://arxiv.org/abs/1708.09803

摘要：我们提出了一种简单的方法，对一种低资源的语言对的神经机器翻译结果，使用同样低资源的相关语言的平行数据帮助改进。这种方法主要基于 Zoph 等人提出的迁移方法，但他们的方法忽略了源词汇重复，我们的方法对此进行了开拓。首先，我们使用 BPE（字节对编码）的方式分离单词来增加单词重复。然后，在第一种语言对上训练模型，将其参数（包括源词嵌入）迁移到另一个模型，再在第二种语言对上继续训练。我们的实验证明，虽然 BPE 方法和迁移学习单独用的时候表现不一致，但一起用时能提高 1.8 个 BLEU 值。

表 1：土耳其语与乌兹别克语中拥有同样词根的单词示例

表 2：训练数据中的 token 与句子的数量

图 1：不同设置下的 Tokenized dev BLEU 得分。注意：baseline = 只训练子模型；transfer = 先训练父模型，再训练子模型；+freeze = 在子模型中 freeze 目标词嵌入

表 4：在父模型中出现的源词嵌入占子模型源词嵌入的比例