百度提出冷聚变方法:使用语言模型训练Seq2Seq模型

近日,百度研究院发表论文提出冷聚变(Cold Fusion)方法,即在 Seq2Seq 模型训练过程中加入语言模型,实现更快地收敛、更好的泛化,以及仅需少量标注数据即可实现向新域的完全迁移。机器之心对这篇论文进行了介绍。

论文地址:https://arxiv.org/abs/1708.06426


摘要:带有注意力机制的序列到序列(Seq2Seq)模型在多项生成自然语言句子的任务中表现优秀,如机器翻译、图像字幕生成和语音识别。在以语言模型的形式利用非标注数据后,其性能进一步提高。在本研究中,我们提供了一种冷聚变(Cold Fusion)方法,并展示该方法在语音识别中的有效性。我们展示了使用冷聚变方法的 Seq2Seq 模型能够更好地利用语言信息,并且能够实现(1)更快收敛、更好的泛化;(2)使用少于 10% 的标注数据进行训练时能几乎完成向新的域的完全迁移。


表 1. 深度聚变(Deep Fusion)和冷聚变的预测示例。


图 1. 基线模型(橙色)和我们提出的模型(紫色)在开发集上的交叉熵损失和迭代数之间的函数关系。使用语言模型的训练可以一定程度上加速收敛。


表 3. 论文中讨论的不同模型的语音识别结果。


表 4. 解码器维度对该模型的性能影响。冷聚变模型的性能随着解码器变小而缓慢下降,这证明冷聚变模型的有效任务能力比无聚变的模型大得多。


表 5. 微调后的声学模型在目标训练数据的子集上的结果。最后一行代表在所有目标域数据上进行训练的注意力模型。

结论

在该研究中,我们展示了一种新型 Seq2Seq 通用模型架构,其解码器和预训练的语言模型一起训练。我们研究并确认,架构变化对该模型充分利用语言模型中的信息至关重要,这也帮助模型实现更好地泛化;通过利用 RNN 语言模型,冷聚变模型产生的词错率比深度聚变模型低 18%。此外,我们证明冷聚变模型能够更轻松地迁移至新的域,仅需要 10% 的标注数据,即几乎可完全迁移至新的域。

理论理论百度语言模型论文NLPSeq2Seq
返回顶部