AAAI 2020 | 基于多任务自监督学习的文本顺滑研究

论文名称:Multi-Task Self-Supervised Learning for Disfluency Detection
论文作者:王少磊,车万翔,刘琦,秦鹏达,刘挺,王威廉
原创作者:王少磊

下载链接:http://ir.hit.edu.cn/~slwang/AAAI-WangS.1634.pdf

1 文本顺滑任务简介

自动语音识别(ASR)得到的文本中,往往含有大量的不流畅现象。这些不流畅现象会对后面的自然语言理解系统(如句法分析,机器翻译等)造成严重的干扰,因为这些系统往往是在比较流畅的文本上训练的。不流畅现象主要分为两部分,一部分是ASR系统本身识别错误造成的,另一部分是speaker话中自带的。NLP领域主要关注的是speaker话中自带的不流畅现象,ASR识别错误则属于语音识别研究的范畴。顺滑 (Disfluency Detection)任务的目的就是要识别出speaker话中自带的不流畅现象。

图1 顺滑示例 

Speaker话中自带的不流畅现象主要分为两大类,分别为Filler类型和Edit类型。以英文为例,Filler类型主要包括“uh”“oh”等语气词,以及“so”“well”等话语标记语。Filler类型的一个特点是其对应的不流畅部分属于一个封闭的短语集合,因此,利用简单的规则或者机器学习模型就可以很好地识别Filler类型。Edit类型主要包括重复,以及被后面的短语所纠正的部分。图1是一个英文顺滑任务的示例。在例句中,“um”“I mean”属于Filler类型,“to Boston”则属于Edit类型,其被后面的“to Denver”所纠正。Edit类型是顺滑任务中最难处理的类型,因为Edit类型的短语长度不固定,出现的位置比较灵活,甚至会出现嵌套的结构。因此,顺滑相关的研究主要集中Edit类型的处理上(后面的内容默认处理的是Edit类型)。对于顺滑任务,目前主要用到的语料是English Switchboard数据,在中文上还没有公开的语料。

2 任务动机

目前大部分在文本顺滑任务上的工作都严重依赖人工标注数据。为了减少对有标注数据的依赖,我们尝试用监督学习的方法来处理文本顺滑任务。

监督学习可以看作是一种特殊的有监督学习,跟传统有监督学习方法的主要区别是其用到的标签不是通过人工标注的,而是通过一定的方式自动产生的。例如将一张图片切分成若干个子块,然后将随机打乱顺序的子块作为输入,正确的排列顺序就可以作为有监督的标签。在自然语言处理领域,词嵌入语言模型学习等都可以归类于监督学习。受相关研究工作的启发,我们提出了两种针对文本顺滑任务的监督学习任务,实验结果证明我们的方法能有效减少对有标注数据的依赖,只利用1%左右的有标注数据就能实现与之前最好方法类似的性能。

3 方法介绍

如图2所示,我们的方法主要由三部分组成,第一部分是构造伪数据,第二部分是基于构造的伪数据,对两个自监督任务进行预训练,第三部分则是基于预训练的结果,在人工标注的文本顺滑数据上进行微调。

图2 方法整体框架 

3.1 构造伪数据

我们构造了两类伪数据,是在正常句子(取自新闻语料)基础上随机增加一些词,是在正常句子基础上随机删除一些词。

对于类型,我们主要采用两种方式添加扰动:

  • Repetition(k): 从第k个词的位置开始随机选取1到6个词进行重复操作。

  • Inserting(k) : 在第k个位置之前随机插入1到6个词(从新闻语料中选取的N-gram)

对于一个正常的句子,我们一般随机选取1到3个位置,然后随机选取一种方式添加扰动。需要注意的是,添加扰动后的句子也有一定几率是正常的句子(比如在名词之前随机添加了一些形容词),这样可能会带来额外的噪声。我们在构造数据的时候并没有针对这种情况进行特殊处理,因为在数据量足够大的时候,这些噪声带来的影响应该会非常小。

对于类型,我们一般随机选取1到3个位置,然后针对每个位置,随机删除掉1到6个词。

需要注意的是,在我们的实验过程当中,一个句子一般只被用来构造一种类型的非顺滑句子,以防止模型学习到一些统计性规律(比如中间长度的句子一般是顺滑的)。

3.2 自监督任务以及微调

我们主要设计了两种监督学习的任务,第一种是序列标注任务,第二种是句子对分类任务。

对于序列标注任务,首先将非顺滑的句子输入到Transformer编码器中,得到每个词的表示。训练目标是识别出来被添加的非顺滑词,其中我们用标签D表示该词是被添加的冗余词,标签O则表示该词是原始句子中的词。虽然的数据分布和实际的文本顺滑数据分布不同,但是其训练目标都是通过删除冗余的词来保持生成的句子的流畅性,所以我们认为该预训练任务会对后续的文本顺滑任务带来很多有用的信息。

句子对分类任务的输入是两个句子,其中一句话是正常的新闻句子,另一句是在该新闻句子基础上构造的非顺滑句子()。训练目标是识别出哪句话是正常的新闻句子。我们假定该任务能够捕获句子级的语法信息,从而对后续的文本顺滑任务带来帮助。

如图3所示,在预训练的时候,我们采用多任务学习的方法,同时对两个自监督任务进行训练。在输入层和中间表示层,我们采用与BERT(Devlin et al., 2019) 类似的Transformer结构。在最后一步微调的时候,我们直接用预训练时候的输入层,中间表示层和序列标注的输出层参数来初始化(图3中黄色部分)。

图3 模型结构

4 实验结果及分析

4.1 实验设置

我们在English Switchboard(SWBD)数据集上测试我们方法的性能。

对于伪数据部分,我们总共用到了1200万的数据,其中300万用来训练序列标注任务,900万用来训练句子分类任务。我们将Transformer模型大小设置为512 hidden units, 8 heads, 6 hidden layers。

4.2 实验结果

我们与五个目前性能最好的方法进行了比较,这些方法都依赖于大规模的人工标注数据和复杂的人工特征。如表1所示,我们的方法优于之前最好的方法,获得了90.2%的F1分数。特别是,当只用1%(1000句)的人工标注数据的情况下,我们的方法获得了与以前性能最好的方法相接近的F1分数,这表明我们的自监督方法可以大大减少对人工标注数据的依赖。

表1  与之前方法对比。其中“Full”表示所有有标注数据进行微调,“1000sents”表示1%(1000句)有标注数据进行微调

4.3 与BERT模型对比

与BERT相比,我们的方法可以看作是一个针对特定任务的预训练,本节主要对比我们模型和BERT模型在文本顺滑任务上的性能。结果如表2所示,虽然我们的预训练语料规模和模型参数都比BERT小,但是当用全部人工标注数据进行微调时,我们得到了与BERT相似的结果。特别是当只用1%(1000句)左右人工标注数据进行微调时,我们的方法比BERT要高3.7个点左右。最后,我们尝试将我们模型和BERT模型结合起来,具体做法是在微调时,将我们模型和BERT模型的隐层输出结合起来做序列标注任务,实验结果证明模型结合之后能取得更高的性能,这也证明了我们的模型学习到了BERT之外的对顺滑任务有帮助的信息。

表2 与BERT对比   

5 总结

在本工作中,我们提出了两个监督学习任务来缓解文本顺滑任务对有标注数据的依赖。实验结果证明我们的方法只利用1%左右的有标注数据就能实现与之前最好方法类似的性能,大大减轻了对有标注数据的依赖。

目前只是在英文数据上证明了我们工作的有效性,能否在中文等数据上取得好的效果还有待验证。

参考文献

[Devlin et al., 2019] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL.

[Ferguson et al., 2015] James Ferguson, Greg Durrett, and Dan Klein. 2015. Disfluency detection with a semi-markov model and prosodic features. In Proceedings of NAACL, pages 257–262.

[Lou and Johnson, 2017] Paria Jamshid Lou and Mark Johnson. 2017. Disfluency detection using a noisy channel model and a deep neural language model. Proceedings of ACL.

[Wang et al., 2017] Shaolei Wang, Wanxiang Che, Yue Zhang, Meishan Zhang, and Ting Liu. 2017. Transition-based disfluency detection using lstms. In Proceedings of EMNLP, pages 2785–2794.

[Wu et al., 2015] Shuangzhi Wu, Dongdong Zhang, Ming Zhou, and Tiejun Zhao. 2015. Efficient disfluency detection with transition-based parsing. In Proceedings of ACL-IJCNLP 2015, pages 495–503. Association for Computational Linguistics.

[Zayats et al., 2016] Vicky Zayats, Mari Ostendorf, and Hannaneh Hajishirzi. 2016. Disfluency detection using a bidirectional lstm. arXiv preprint arXiv:1604.03209.

哈工大SCIR
哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

理论自监督学习AAAI 2020
1
相关数据
刘挺人物

哈工大人工智能研究院副院长,国内NLP方向领军人物。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

多任务学习技术

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

推荐文章
暂无评论
暂无评论~