一大波优质paper来袭!

#Multi-task Learning#

Identifying Beneficial Task Relations for Multi-task Learning in Deep Neural Networks


多任务学习在 NLP 研究中应用广泛,多个任务共同学习一方面会取得更好的指标,另一方面会在一定程度上减少训练数据的需求。但多任务训练为什么比多个单任务训练好,以及什么条件下会好,都需要进行研究,本文正是做了这个工作,对 CCG Tagging、Chunking、Sentence Compression 等 10 个任务进行了研究。

本文工作已被 EACL 2017 接受,所有代码均已开源:

链接请戳:https://github.com/jbingel/eacl2017_mtl

论文链接:https://arxiv.org/abs/1702.08303

#Scaffolding Networks# 

Scaffolding Networks for Teaching and Learning to Comprehend


本文模型的思路借鉴于人类学习知识过程,通过不断地提问来增加常识,提高理解和推理能力。借鉴这样的思,需要解决好三个问题,1) the need for an effective architecture that learns from the information in text and keeps it in memory; 2) the difficulty of self-assessing what is learned at any given point and what is left to be learned; 3) the difficulty of teaching reasoning in a scalable way. 本文工作来自微软研究院。

论文链接:https://arxiv.org/abs/1702.08653


#Dialogue System#

End-to-End Task-Completion Neural Dialogue Systems


当前面向具体任务的 Chatbot 或多或少都有这三类问题:1、系统预设的问题类型太过死板;(2)鲁棒性太差,用户换一种说法就难以理解了;(3)在对话过程中突然进行一些请求。本文针对这三个典型问题,提出了一种端到端的模型,在预订电影票这个任务上进行了实验。

中间测试的过程利用了他们之前的 user simulation 的工作,开源代码如下:

链接请戳:https://github.com/MiuLab/TC-Bot

论文链接:https://arxiv.org/abs/1703.01008


#机器阅读理解#

#词向量#

A Comparative Study of Word Embeddings for Reading Comprehension


本文是一篇偏实用的实验报告,有一些值得借鉴的结论。第一个基本的结论是,预训练词向量和 OOV 的表示方法比网络结构对结果的影响更大;预训练词向量的选择是个重要的问题,用 glove 还是 word2vec,用 wikipedia 还是 target data 作为训练数据都是不同的选择,会导致不同的结果;另外,在 test 过程中 OOV 单词的表示对准确率的影响也很大。本文通过几个 MRC 的任务来进行实验,得出了一些有参考价值的结论,大家可以去复现。

论文链接:https://arxiv.org/abs/1703.00993

#Seq2Seq#

#Tutorial#

Neural Machine Translation and Sequence-to-sequence Models: A Tutorial


本文是篇 Tutorial,来自 CMU LTI,内容包括了 Seq2Seq 方法的各个基础知识,包括 N-gram Language Model,Log Linear Language Model,NNLM,RNNLM,encoder-decoder,attention,是一本高质量的教程,适合初学者学习。

论文链接:https://arxiv.org/abs/1703.01619


PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

理论论文理论多任务学习NLPEACL 2017
暂无评论
暂无评论~