论文名称：Multi-Task Self-Supervised Learning for Disfluency Detection
论文作者：王少磊，车万翔，刘琦，秦鹏达，刘挺，王威廉
原创作者：王少磊下载链接：http://ir.hit.edu.cn/~slwang/AAAI-WangS.1634.pdf
1 文本顺滑任务简介
自动语音识别（ASR）得到的文本中，往往含有大量的不流畅现象。这些不流畅现象会对后面的自然语言理解系统（如句法分析，机器翻译等）造成严重的干扰，因为这些系统往往是在比较流畅的文本上训练的。不流畅现象主要分为两部分，一部分是ASR系统本身识别错误造成的，另一部分是speaker话中自带的。NLP领域主要关注的是speaker话中自带的不流畅现象，ASR识别错误则属于语音识别研究的范畴。顺滑 (Disfluency Detection)任务的目的就是要识别出speaker话中自带的不流畅现象。
图1 顺滑示例
Speaker话中自带的不流畅现象主要分为两大类，分别为Filler类型和Edit类型。以英文为例，Filler类型主要包括“uh”“oh”等语气词，以及“so”“well”等话语标记语。Filler类型的一个特点是其对应的不流畅部分属于一个封闭的短语集合，因此，利用简单的规则或者机器学习模型就可以很好地识别Filler类型。Edit类型主要包括重复，以及被后面的短语所纠正的部分。图1是一个英文顺滑任务的示例。在例句中，“um”“I mean”属于Filler类型，“to Boston”则属于Edit类型，其被后面的“to Denver”所纠正。Edit类型是顺滑任务中最难处理的类型，因为Edit类型的短语长度不固定，出现的位置比较灵活，甚至会出现嵌套的结构。因此，顺滑相关的研究主要集中Edit类型的处理上（后面的内容默认处理的是Edit类型）。对于顺滑任务，目前主要用到的语料是English Switchboard数据，在中文上还没有公开的语料。
2 任务动机
目前大部分在文本顺滑任务上的工作都严重依赖人工标注数据。为了减少对有标注数据的依赖，我们尝试用自监督学习的方法来处理文本顺滑任务。
自监督学习可以看作是一种特殊的有监督学习，跟传统有监督学习方法的主要区别是其用到的标签不是通过人工标注的，而是通过一定的方式自动产生的。例如将一张图片切分成若干个子块，然后将随机打乱顺序的子块作为输入，正确的排列顺序就可以作为有监督的标签。在自然语言处理领域，词嵌入、语言模型学习等都可以归类于自监督学习。受相关研究工作的启发，我们提出了两种针对文本顺滑任务的自监督学习任务，实验结果证明我们的方法能有效减少对有标注数据的依赖，只利用1%左右的有标注数据就能实现与之前最好方法类似的性能。
3 方法介绍
如图2所示，我们的方法主要由三部分组成，第一部分是构造伪数据，第二部分是基于构造的伪数据，对两个自监督任务进行预训练，第三部分则是基于预训练的结果，在人工标注的文本顺滑数据上进行微调。
图2 方法整体框架
3.1 构造伪数据
我们构造了两类伪数据，
是在正常句子（取自新闻语料）基础上随机增加一些词，
是在正常句子基础上随机删除一些词。
对于
类型，我们主要采用两种方式添加扰动：
Repetition(k): 从第k个词的位置开始随机选取1到6个词进行重复操作。
Inserting(k) : 在第k个位置之前随机插入1到6个词（从新闻语料中选取的N-gram）
对于一个正常的句子，我们一般随机选取1到3个位置，然后随机选取一种方式添加扰动。需要注意的是，添加扰动后的句子也有一定几率是正常的句子（比如在名词之前随机添加了一些形容词），这样可能会带来额外的噪声。我们在构造数据的时候并没有针对这种情况进行特殊处理，因为在数据量足够大的时候，这些噪声带来的影响应该会非常小。
对于
类型，我们一般随机选取1到3个位置，然后针对每个位置，随机删除掉1到6个词。
需要注意的是，在我们的实验过程当中，一个句子一般只被用来构造一种类型的非顺滑句子，以防止模型学习到一些统计性规律（比如中间长度的句子一般是顺滑的）。
3.2 自监督任务以及微调
我们主要设计了两种自监督学习的任务，第一种是序列标注任务，第二种是句子对分类任务。
对于序列标注任务，首先将非顺滑的句子
输入到Transformer编码器中，得到每个词的表示
。训练目标是识别出来被添加的非顺滑词，其中我们用标签D表示该词是被添加的冗余词，标签O则表示该词是原始句子中的词。虽然
的数据分布和实际的文本顺滑数据分布不同，但是其训练目标都是通过删除冗余的词来保持生成的句子的流畅性，所以我们认为该预训练任务会对后续的文本顺滑任务带来很多有用的信息。
句子对分类任务的输入是两个句子，其中一句话是正常的新闻句子，另一句是在该新闻句子基础上构造的非顺滑句子（
或
）。训练目标是识别出哪句话是正常的新闻句子。我们假定该任务能够捕获句子级的语法信息，从而对后续的文本顺滑任务带来帮助。
如图3所示，在预训练的时候，我们采用多任务学习的方法，同时对两个自监督任务进行训练。在输入层和中间表示层，我们采用与BERT(Devlin et al., 2019) 类似的Transformer结构。在最后一步微调的时候，我们直接用预训练时候的输入层，中间表示层和序列标注的输出层参数来初始化（图3中黄色部分）。
图3 模型结构
4 实验结果及分析
4.1 实验设置
我们在English Switchboard（SWBD）数据集上测试我们方法的性能。
对于伪数据部分，我们总共用到了1200万的数据，其中300万用来训练序列标注任务，900万用来训练句子分类任务。我们将Transformer模型大小设置为512 hidden units, 8 heads, 6 hidden layers。
4.2 实验结果
我们与五个目前性能最好的方法进行了比较，这些方法都依赖于大规模的人工标注数据和复杂的人工特征。如表1所示，我们的方法优于之前最好的方法，获得了90.2%的F1分数。特别是，当只用1%（1000句）的人工标注数据的情况下，我们的方法获得了与以前性能最好的方法相接近的F1分数，这表明我们的自监督方法可以大大减少对人工标注数据的依赖。
表1 与之前方法对比。其中“Full”表示所有有标注数据进行微调，“1000sents”表示1%（1000句）有标注数据进行微调
4.3 与BERT模型对比
与BERT相比，我们的方法可以看作是一个针对特定任务的预训练，本节主要对比我们模型和BERT模型在文本顺滑任务上的性能。结果如表2所示，虽然我们的预训练语料规模和模型参数都比BERT小，但是当用全部人工标注数据进行微调时，我们得到了与BERT相似的结果。特别是当只用1%（1000句）左右人工标注数据进行微调时，我们的方法比BERT要高3.7个点左右。最后，我们尝试将我们模型和BERT模型结合起来，具体做法是在微调时，将我们模型和BERT模型的隐层输出结合起来做序列标注任务，实验结果证明模型结合之后能取得更高的性能，这也证明了我们的模型学习到了BERT之外的对顺滑任务有帮助的信息。
表2 与BERT对比
5 总结
在本工作中，我们提出了两个自监督学习任务来缓解文本顺滑任务对有标注数据的依赖。实验结果证明我们的方法只利用1%左右的有标注数据就能实现与之前最好方法类似的性能，大大减轻了对有标注数据的依赖。
目前只是在英文数据上证明了我们工作的有效性，能否在中文等数据上取得好的效果还有待验证。
参考文献
[Devlin et al., 2019] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL.
[Ferguson et al., 2015] James Ferguson, Greg Durrett, and Dan Klein. 2015. Disfluency detection with a semi-markov model and prosodic features. In Proceedings of NAACL, pages 257–262.
[Lou and Johnson, 2017] Paria Jamshid Lou and Mark Johnson. 2017. Disfluency detection using a noisy channel model and a deep neural language model. Proceedings of ACL.
[Wang et al., 2017] Shaolei Wang, Wanxiang Che, Yue Zhang, Meishan Zhang, and Ting Liu. 2017. Transition-based disfluency detection using lstms. In Proceedings of EMNLP, pages 2785–2794.
[Wu et al., 2015] Shuangzhi Wu, Dongdong Zhang, Ming Zhou, and Tiejun Zhao. 2015. Efficient disfluency detection with transition-based parsing. In Proceedings of ACL-IJCNLP 2015, pages 495–503. Association for Computational Linguistics.
[Zayats et al., 2016] Vicky Zayats, Mari Ostendorf, and Hannaneh Hajishirzi. 2016. Disfluency detection using a bidirectional lstm. arXiv preprint arXiv:1604.03209.
