@guohao916 推荐
#Machine Reading Comprehension
本文来自加州理工、华盛顿大学和 AI2。论文针对对话式机器阅读理解,提出了针对问题历史记录与篇章的Flow机制,这种机制可以通过交替的并行处理结构结合在回答前一个问题的过程中产生的中间表示,将先前的问题/答案连接起来作为输入。
与之前的浅层方法相比,Flow 更深入地整合了对话历史的潜在语义。相比于基准算法,本文提出的 FlowQA 模型在最近公开的两个对话式机器阅读理解数据集上均表现出优异的性能(CoQA为+ 7.2%,QuAC为+ 4.6%)。通过减少对会话机器理解的顺序构建理解,FlowQA 在 CoQA 数据集中在所有不同的七个领域中达到了最佳。
Flow 的有效性也体现在其他任务中。在 SCONE 的三个领域中,FlowQA 模型相比于基准算法在验证集和测试集上效果都有所提升。
![undefined](https://image.jiqizhixin.com/uploads/editor/9852c65d-ed72-4b93-a98a-18e512382adf/1544178147133.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/999db208-e0d7-423f-8d88-905fed677cb6/1544178147315.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/1fbf6ed7-5708-4381-b5e8-517e52c71720/1544178147486.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/c3cf40f1-a3e4-4d6a-9489-8a67df2bf9cb/1544178147652.png)
@Luolc 推荐
#Dialogue Generation
本文是北京大学孙栩老师组发表在 EMNLP 2018 上的工作。在对话生成中任务,流行的基于 MLP 的学习方法倾向于生成“万能”回复,例如“I don't know”等缺少和输入语句有语义关联,没有意义的回复。
本文提出了一种基于 Auto-Encoder 对齐的模型,在训练中分别用两个 Auto-Encoder 非监督的学习输入和输出两者的句子表示,并使用一个 Matching Model 学习两者的对齐方式。自动化评测和人工评测显示这一方法可以显著提高对话生成的相关性、流畅度和多元性。
![undefined](https://image.jiqizhixin.com/uploads/editor/dd1fac7b-2ad1-40dc-8829-8b3f9ad0249d/1544178148021.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/70a86bf9-845a-4831-a306-b500960aaeff/1544178148131.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/c37513e9-460b-4e5a-a135-af17abd215c3/1544178148277.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/83805d1f-053a-40e0-a20e-33eb0ea54182/1544178148429.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/bf52dd84-692f-473c-b5ca-bc309c9fbcce/1544178148511.png)
论文链接:https://www.paperweekly.site/papers/2521
源码链接:https://github.com/lancopku/AMM
@zhangjun 推荐
#Bayesian Deep Learning
本文是 CMU 发表于 EMNLP 2018 的工作,作者基于 ICML 2017 论文 Deep Bayesian Active Learning with Image Data 中的方法,对 NLP 几大任务进行了实验,验证了基于贝叶斯 RNN 和 CNN 的主动学习方法的有效性。
![undefined](https://image.jiqizhixin.com/uploads/editor/302a2091-c034-46bd-99f5-f70f1ed219c7/1544178148907.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/a6e8233f-0c12-409f-8020-1cc5e08b1d52/1544178149036.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/62e12c4a-4e17-497f-b594-eda664d7debc/1544178149160.png)
源码链接:https://github.com/asiddhant/Active-NLP
@qifanchao866 推荐
#Cross-lingual
本文是清华大学刘知远老师组发表于 EMNLP 2018 的工作,论文提出了跨语言词的义原推荐这一任务,并且设计了基于融合义原信息的双语词表示和协同过滤的框架实现了较好的跨语言词义原推荐效果。
本文研究的问题是一个全新的问题,此前没有针对该问题的解决方法。而因为不同语言之间存在词的语义差异,直接将知网(HowNet)翻译成其他语言是不可行的。另外,义原比较隐晦,如何利用机器学习方法学习其表示也是一个挑战。
本文提出了基于融合义原信息的双语词表示和协同过滤的框架。将有义原标注的语言定义为源语言,需要进行义原标注的语言定义为目标语言。第一个模块用来学习在同一个语义空间的双语词向量,包含分别从源语言和目标语言单语语料中学习单语词向量、利用种子词典和匹配机制对齐双语词向量,以及将义原信息融入源语言词向量中三个部分。第二个模块利用第一个模块得到的双语词向量,利用基于协同过滤的方法为目标语言词进行义原推荐。
![undefined](https://image.jiqizhixin.com/uploads/editor/1a97ec9d-a631-4664-a264-e3c6004cebc3/1544178562071.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/5cbc1bb9-2786-4106-b53b-25587f1832ca/1544178562257.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/38d11ecd-b6d4-448a-a88c-12d5cd432d45/1544178562389.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/d46858f1-71ac-435c-a8ec-1313de2a0241/1544178562711.png)
源码链接:https://github.com/thunlp/CLSP
@honeyht 推荐
#Conditional Random Fields
本文是首尔大学发表于 ACL 2018 的工作。一般的一阶或二阶 CRF 不能实现远距离命名实体间的信息转换,且高阶的计算复杂不宜实现。本文提出一种前驱体诱导的线性链 CRF 方法实现远距离 NER。模型主要利用远距离实体间的外部令牌 outside label 作为信息媒介,将原始输入序列视为 <entity, outsides+, entity> 模式,通过媒介将第一个实体的信息传递给第二个。
结果表明模型稍微改善了临床和生物医学领域 NER 的效率,同时显著减少了计算量。模型未来改进:(1)应用到更多领域;(2)结合深度学习,如 LSTM-CRF等。
![undefined](https://image.jiqizhixin.com/uploads/editor/b4690384-22d9-4dc1-9e04-996e18cd0e85/1544178563020.png)
![](https://image.jiqizhixin.com/uploads/editor/094798d9-0b29-448e-a8c2-dc2d9b956a01/1544180951235.png)
源码链接:https://github.com/jinsamdol/precursor-induced_CRF
@chenhong 推荐
#Object Detection
传统基于 R-CNN 的架构通过回归边界框实现定位,RoI 的特征需要 flatten + FCs 预测边界框,属于曲线救国。ECCV 2018 的 CornerNet 通过直接预测边界框的左上角和右下角,预测目标的边界框。而本文是商汤最新提出的 Grid R-CNN,直接预测边界框包含四个边界在内的 9 宫格,在 Faster R-CNN/Mask R-CNN 基础上实现 state-of-the-art。
![](https://image.jiqizhixin.com/uploads/editor/5398e506-2178-45d0-aa2b-ba174f300af1/1544181109205.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/89fa757c-748f-45fb-9602-ee0c7f0afcbf/1544178565466.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/0b3ac848-3158-4704-b9a6-4b13c1e3454b/1544178563346.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/0228f866-35b2-4d47-a7f1-4f8537395e89/1544178563486.png)
论文链接:https://www.paperweekly.site/papers/2583
@paperweekly 推荐
#Deformable Convolutional Networks
本文来自中科大和微软亚洲研究院,论文提出了可变形卷积网络的新版本——第二代可变形卷积网络(Deformable ConvNets v2,简称 DCNv2)。
目标检测任务重有一个较为棘手的问题,即几何形变(Geometric Variations)。本文作者认为 Deformable ConvNets v1 存在的问题是在 RoI 外部的这种几何形变适应性表现得不好,导致特征会受到无关图像内容影响。
本文在 v1 的基础上做了如下改进:1)增加可变形卷积的层数;2)增加可调节的可变形模块;3)采用蒸馏的方法模仿 RCNN 的特征。实验表明,DCNv2 在 ResNet-50 backbone COCO 上相比 DCNv1 提升了 5 个点。
![undefined](https://image.jiqizhixin.com/uploads/editor/3302a465-79d8-4043-9164-9b0989a19811/1544178565793.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/bc03cc9d-f0be-48c1-b55f-97984071698b/1544178563728.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/002259f5-7902-43e6-b984-b792b7d357fd/1544178563856.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/5df214f4-716f-41dc-8506-d6eb0a83903a/1544178563948.png)
@YuSuen 推荐
#Generative Adversarial Networks
本文来自 MIT、香港中文大学、Google Research 和 IBM Research,论文为理解 GAN 的内部表征提供了第一个系统性分析,并利用分析框架实现了各种有趣的应用。
![undefined](https://image.jiqizhixin.com/uploads/editor/ea185282-dd34-4e4f-b437-3c8116ce7f50/1544178564341.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/e295f32c-4dd5-4f03-a30e-a245fe3a8c46/1544178572813.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/d0050863-9b44-489e-8a17-47de72a56b4c/1544178567256.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/85aca1f9-b5d2-4e85-a10e-2686caee4112/1544178564495.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/56ae0900-dac3-4713-a368-8fbfa1064209/1544178564634.png)
@paperweekly 推荐
#Gait Recognition
本文是复旦大学发表于 AAAI 2019 的工作。论文研究的问题是步态识别,作者将步态识别视频序列视为图像集,在此基础上提出了 GaitSet 算法。
具体来说,作者通过以下三个步骤提取步态序列特征:1)提取单幅步态轮廓图像的 CNN 特征;2)将各幅图像的 CNN 特征聚合成一个特征向量;3)考虑提取多尺度特征,并通过全连接网络提高特征的鉴别性。本文方法在 CASIA-B 和 OU-MVLP 数据集上大幅超越了当前的 SOTA 算法。
![undefined](https://image.jiqizhixin.com/uploads/editor/3b9bb078-b5c0-4d07-a1b4-582fa8d4d89c/1544178567925.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/9684a5c4-64b8-4e91-a545-9c78fa2ea851/1544178567773.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/fcc1602c-846c-40d0-9d7c-7fa8c278152e/1544178567478.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/bbc0bea9-6ddc-4056-bf7f-48c08b9f4fa2/1544178564908.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/636b7e60-698f-4375-9ac3-99f78fe57735/1544178564989.png)
论文链接:https://www.paperweekly.site/papers/2604
数据集链接:https://github.com/AbnerHqC/GaitSet
@paperweekly 推荐
#Image Understanding
本文是韩国科学技术院发表于 NeurIPS 2018 的工作,论文针对场景图生成任务提出了一个 Relational Embedding 模块,可以利用图片中所有的物体特征对某个物体的特征进行更新。此外,作者还提出了一个全局上下文编码模块对全局上下文信息进行编码,以及一个几何布局编码模块来显式使用几何布局信息。
![undefined](https://image.jiqizhixin.com/uploads/editor/839fd29f-d6f7-4dc8-b07b-782d073134c8/1544180307050.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/824db327-a25f-46e2-8e7e-deb75f234d66/1544180306438.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/2a3f79d1-46bb-4c7d-a515-b956c449c768/1544180300435.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/8134337e-f72e-4702-8609-a7bb7f3ef89e/1544180300717.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/25f86d6e-e629-4ca2-b076-adae550170b1/1544180300821.png)
@cuthbert 推荐
#Domain Adaptation
本文是清华大学龙明盛老师组发表于 AAAI 2019 的工作。Domain Adaptation 的目的是为了减小 source domain 和 target domain 之间的 discrepancy,使得在 source domain 上训练的模型也能较好地作用于 target domain。
最近的 Deep Domain Adaptation 大多专注于设计 GAN 的网络结构来解决问题,本文没有继续在网络结构或损失函数上做文章,而是引入 attention 机制来解决以往 Adversarial Domain Adaptation 方法中细粒度不够的问题。
文章设计了两种 attention 来探寻图片中不同结构和区域的可迁移性,达到了 fined-grained transfer。相比以往引入类别信息,构造条件概率模型的方法,attention的引入给出了另一个很有意思的工作方向。
![undefined](https://image.jiqizhixin.com/uploads/editor/821d4c69-eca4-477b-81c2-cac999da17b4/1544180301142.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/fdf029b8-0836-47f4-ab9e-4fea531b2a79/1544180301372.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/0ac920f3-e65a-4f8a-af80-01cb7cc94203/1544180307350.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/fb59937f-5f73-4439-8f5c-34b63cd83dff/1544180305647.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/50cd398f-427d-4eb0-bfdc-d8c5c02babe0/1544180318478.png)
@SandyKid 推荐
#Deep Neural Networks
本文来自 CMU、USC、北京大学和 MIT,论文证明了使用梯度下降可以在多项式时间内将一个神经网络的训练损失下降到 0,对深入理解神经网络的机制以及该算法的白盒化有一定学习意义。
![undefined](https://image.jiqizhixin.com/uploads/editor/7bfa8d30-efc9-48d2-ac48-857564c925ed/1544180301892.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/084d7666-57a6-47ba-83d3-152c60594ec1/1544180302057.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/a431bce5-7b3a-443b-b5ce-2e74dc9cd93c/1544180302276.png)
@Aspirinkb 推荐
#Deep Learning
本文来自 Facebook AI Research,论文改进了一种新颖的浮点数表示法(posit),使其更加适用于神经网络的训练和推理,并在 FPGA 上进行了对比实验。和 IEEE-754 浮点数标准相比,本论文基于改进的浮点数系统,可以实现低 bit 神经网络训练和高效推理,不再需要后续的量化压缩过程就可以部署在嵌入式等资源受限终端。
该论文提出的方法区别于神经网络模型的剪枝、量化等常规思路,直接从浮点数表示这个更加基本、底层的角度尝试解决模型的压缩加速问题,是一个很新颖的方式,且效果不错,值得深入研究。除了论文,作者还给出了代码实现和博客文章,帮助理解。
![undefined](https://image.jiqizhixin.com/uploads/editor/1f4deab8-89e3-4248-ba36-a635c82dee97/1544180302712.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/15268e16-34f9-4658-b46f-ff77e17927be/1544180302894.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/e6f7b58a-2764-48a6-a69a-27f10fb17327/1544180303107.png)
@jsh0123 推荐
#Attacks Detection
本文是南京大学周志华教授团队发表于 NeurIPS 2018 的文章,文中定义了一种对于推荐系统的新型攻击模式——无组织的恶意攻击,公式化定义该问题,利用近似交替分裂增广拉格朗日法解决该问题,实验效果显著。该文在 arXiv 最早 2016 年发表,前后修改多次,于今年正式发表于 NeurIPS。
![undefined](https://image.jiqizhixin.com/uploads/editor/09581c62-32af-43c1-979c-3fe90a142e11/1544180303450.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/d17fd468-c510-40b8-a9f3-26b6d76893b8/1544180303559.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/383487b3-f16b-455d-b151-fbd07e6a7942/1544180303737.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/31f5914e-49ff-4be6-a773-d970cc6e5a57/1544180303860.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/09b08ca2-6dcc-4f46-81ab-cb799ed8f172/1544180304031.png)
@paperweekly 推荐
#Recommender System
本文是新加坡国立大学发表于 IJCAI 2018 的工作,论文基于评论文本对用户偏好和商品特征进行抽取,提出了一种自适应注意力模型用于用户评论的智能排序,不断学习用户对商品在不同关注点方面的权重,进而提升推荐效果。
本文解决了已有方法忽视不同用户对商品不同侧面关注点不同的缺陷,并且在 Amazon Product Review 和 Yelp 2017 这两个大规模推荐系统数据库上取得了领域内最好效果。
![undefined](https://image.jiqizhixin.com/uploads/editor/43724842-ab8d-4045-bbcc-caab9487d632/1544180304360.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/87e25956-321f-475c-9eab-f26bfc9f23bd/1544180304502.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/46215510-2966-4934-8ab2-6deb2b9f5e61/1544180304771.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/001693d8-6236-4e28-baa1-7da5f17da9ed/1544180305101.png)
![undefined](https://image.jiqizhixin.com/uploads/editor/a41493a8-8174-473f-80f3-92c06aabac6a/1544180305318.png)