论文推荐:机器阅读理解,文本摘要,Seq2Seq加速

#Seq2Seq加速#


Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU


本文是一篇工程性比较强的工作,来自微软研究院。解码是在 CPU 上做,文中提供了 5 种加速 decoding 的方法,将速度提升了 4.4 倍,而且没有影响准确度。用 seq2seq 做工程项目的同学可以看过来。

论文链接:http://cn.arxiv.org/abs/1705.01991

推荐人:大俊,PaperWeekly 首席客服

#Read Comprehension# 


Mnemonic Reader for Machine Comprehension


本文旨在解决目前做阅读理解任务的端到端神经网络模型面临的问题:1. 无法有效捕捉原文当中存在的长距离依赖;2. 使用对问题不敏感的 pointer 来预测答案范围。因此本文提出 Mnemonic Reader,在两个方面进行了改进:1. 引入了一个自对齐层来进一步捕捉原文当中的长距离依赖;2. 使用一个多轮迭代的对问题敏感的 pointing 机制来预测答案范围。我们的 ensemble 模型在 SQuAD 数据集上取得了 73.67 的 ExactMatch 和 81.694 的 F1,目前排名第三。

SQuAD Leaderboard:

https://rajpurkar.github.io/SQuAD-explorer/

论文链接:https://arxiv.org/abs/1705.02798

推荐人:大俊,PaperWeekly 首席客服

#ACL2017#


#数据集#

#机器阅读理解#

TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

TriviaQA is a reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K question-answer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions.

数据地址:http://nlp.cs.washington.edu/triviaqa/

论文链接:http://cn.arxiv.org/abs/1705.03551

推荐人:大俊,PaperWeekly 首席客服

#文本摘要# 


A Deep Reinforced Model for Abstractive Summarization


用 Intra Attention+Supervisd/Reinforcement 混合学习,在 CNN/Daily Mail 数据集的生成式文摘上取得了较已有最好成绩 5.7 个 ROUGE 分的提升。工作来自 Metamind Socher 团队。

官方博客解读:

https://metamind.io/research/your-tldr-by-an-ai-a-deep-reinforced-model-for-abstractive-summarization

论文链接:https://arxiv.org/abs/1705.04304

推荐人:孙静远,中国科学院(PaperWeekly arXiv组志愿者)


#IJCAI 2017# 


Dynamic Compositional Neural Networks over Tree Structure


对文本序列进行语义合成是 NLP 中的重要问题。过去各种网络的提出(CNN,Recurrent NN, Recursive NN)本质上是对不同种合成函数的尝试,而这种全局参数共享的合成函数又很难捕捉到语义的丰富性,这篇文章提出一种新的角度,即用 meta network 去处理语义合成的多样性问题,这种思路可以很容易迁移到其他 NLP 任务上。

论文链接:http://cn.arxiv.org/abs/1705.04153

推荐人:大俊,PaperWeekly 首席客服

理论
暂无评论
暂无评论~
返回顶部