Alexis Conneau等作者路、王淑婷编译research.fb选自

FAIR & NYU开发XNLI语料库:15种语言(含低资源语言)

近日,FAIR 和纽约大学的研究者合作开发了一个新的自然语言推断语料库 XNLI,该语料库将 MultiNLI 的测试集和开发集扩展到 15 种语言,包括斯瓦西里语和乌尔都语等低资源语言。XNLI 是跨语言句子理解的基准,实际可用且具备一定难度,有助于带来更好的跨语言理解方法。

项目地址:https://github.com/facebookresearch/XNLI

很多 NLP 系统(如情感分析、主题分类、feed 排序)依赖在高资源语言中训练数据,却无法直接在测试时为其他语言进行预测。该问题在几乎所有涉及跨语言数据的行业应用中都会出现。

我们可以使用机器翻译将任意样本翻译成高资源语言,来缓解该问题。但是,在每个语言方向都构建一个机器翻译系统太昂贵,不是跨语言分类的最佳解决方案。跨语言编码器更便宜,也更优雅(见下图示例)。

为了评估此类跨语言句子理解方法,来自 Facebook 和纽约大学的研究者创建了 XNLI,它是 SNLI/MultiNLI 语料库的扩展版,涉及 15 种语言。XNLI 提出了以下研究问题:在仅具备英语训练数据的情况下,我们如何在测试时对任意语言进行预测?

行业应用的常规任务可能不包括自然语言推断(natural language inference,NLI),但研究者认为 NLI 是评估跨语言句子表征的良好测试平台,XNLI 的更好方法能够带来更好的跨语言理解(crosslingual language understanding,XLU)方法。

XNLI 语料库

跨语言自然语言推断(XNLI)语料库是一个众包语料库,基于 MultiNLI 语料库收集了 5000 个测试对和 2500 个开发对。研究者使用文本蕴含标注这些句对,然后将这些句子翻译成 14 种语言:法语、西班牙语、德语、希腊语、保加利亚语、俄语、土耳其语、阿拉伯语、越南语、泰语、中文、印度语、斯瓦西里语和乌尔都语,这就有 11.25 万标注对了。每个 premise 可与 15 种语言中的对应假设相关,一共有超过 150 万组合。

该研究介绍了一个基准,即 XNLI 语料库,它将这些 NLI 语料库扩展到 15 种语言。XNLI 包括 7500 个人工标注开发和测试样本,格式为 NLI 三向分类,一共生成了 112500 个标注句对。这些语言涉及多个语系,包括斯瓦西里语和乌尔都语这两种低资源语言。

XNLI 语料库聚焦于开发数据和测试数据,因此构建它的目的是评估跨语言句子理解,其中模型必须在一种语言中训练,在其他不同的语言中测试。

研究者评估了多种自然语言推断的跨语言学习方法,训练数据是来自于公开语料库的平行数据。研究展示了平行数据有助于在多语言中对齐句子编码器,以使使用 English NLI 数据训练的分类器能够正确地分类其他语言的句对。尽管该对齐方法不敌该研究使用的机器翻译基线模型,但该对齐方案的性能也很有竞争力。

下载

XNLI 是一个 ZIP 文件,包含 JSON lines (jsonl) 和制表符分割文本 (txt) 两种格式的语料库

  • 英语训练数据地址:https://www.nyu.edu/projects/bowman/multinli/

  • XNLI 语料库下载地址:https://s3.amazonaws.com/xnli/XNLI-1.0.zip(17MB,ZIP)

XNLI 还可用作一万个句子的 15way 平行语料库,来构建或评估机器翻译系统。XNLI 为低资源语言(如斯瓦西里语和乌尔都语)提供额外的开放平行数据。

XNLI-15way 下载地址:https://s3.amazonaws.com/xnli/XNLI-15way.zip(12MB,ZIP)

论文:XNLI: Evaluating Cross-lingual Sentence Representations

论文地址:https://research.fb.com/wp-content/uploads/2018/10/XNLI-Evaluating-Cross-lingual-Sentence-Representations.pdf

摘要:当前最优的自然语言处理系统依赖标注数据来学习强大的模型。这些模型往往是在单语数据(通常是英语)上训练的,无法直接用于其他语言。由于收集每种语言的数据不切实际,因此研究者对跨语言理解(XLU)和低资源跨语言迁移的兴趣越来越大。本研究将 MultiNLI 的开发集和测试集扩展到 15 种语言(包括斯瓦西里语和乌尔都语等低资源语言),从而构建了一个 XLU 的评估集。我们希望该数据集,即 XNLI 能够提供信息量大的标准评估任务来促进跨语言句子理解的研究。此外,我们还提供了多个多语言句子理解的基线模型,其中两个基于机器翻译系统,还有两个使用平行数据来训练对齐多语言词袋模型LSTM 编码器。我们发现 XNLI 是一个实际且有难度的评估套件,在直接翻译测试数据任务上获得了可用基线模型中的最优表现。

工程语料库纽约大学Facebook
1
相关数据
基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

词袋模型技术

词袋模型(英语:Bag-of-words model)是个在自然语言处理和信息检索(IR)下被简化的表达模型。此模型下,像是句子或是文件这样的文字可以用一个袋子装着这些词的方式表现,这种表现方式不考虑文法以及词的顺序。最近词袋模型也被应用在电脑视觉领域。

语料库技术

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

长短期记忆网络技术

长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的随时间反向传播中权重消失的问题(vanishing gradient problem over backpropagation-through-time),重要组成部分包括Forget Gate, Input Gate, 和 Output Gate, 分别负责决定当前输入是否被采纳,是否被长期记忆以及决定在记忆中的输入是否在当前被输出。Gated Recurrent Unit 是 LSTM 众多版本中典型的一个。因为它具有记忆性的功能,LSTM经常被用在具有时间序列特性的数据和场景中。

推荐文章
暂无评论
暂无评论~