一键收藏近期优质论文:从 NLP 到 CV

#GAN#

The Numerics of GANs


本文讨论了 GAN 采用梯度下降训练时的收敛性问题。文章指出,若梯度向量的雅克比矩阵的特征值的实部的绝对值太小,或者特征值的虚部的绝对值太大,若要求算法收敛到局部纳什均衡解,则步长需趋于 0,这将导致算法无效。为此,文章提出了 consensus optimization,通过引入正则项(实际上就是对 G 和 D 的二次梯度进行惩罚)来解决局部收敛性要求小步长的问题。作者通过实验验证了 consensus optimization 的有效性。


存在问题:


1. Reddit 上的讨论表明,大家无法复现文章的结果,即使是合成的高斯数据上。 


2. 文章中存在一些错误,比如:从证明来看,Lemma 6 提到的 v 的驻点(stationary point)实际上应该是 v 的根(root)。另外一个问题则是 Lemma 9 的证明最后一步放缩似乎不成立,如果确实不成立,consensus optimization 也将没有局部纳什均衡解的收敛性保证。欢迎一起讨论 Lemma 9 的成立性问题。 


此外,近期出现了 GAN 的一些理论研究文章,除本文外,还有 Gradient descent GAN optimization is locally stable (arxiv id: 1706.04156),Stabilizing Training of Generative Adversarial Networks through Regularization (arxiv id: 1705.09367) 等。


GAN 存在的问题正被逐步深入研究和解决。


论文链接:https://arxiv.org/abs/1705.10461


推荐人:洪佳鹏,北京大学(PaperWeekly arXiv 打卡小组)


#问题生成#


Neural Models for Key Phrase Detection and Question Generation


本文研究的是如何从 documents 中生成问题,首先通过 QA pairs dataset 训练出一个提取 key phrase 的模型,然后基于 key phrase 用 seq2seq 生成问题。本文可以用来生成大量不错的 QA pairs。


论文链接:http://cn.arxiv.org/abs/1706.04560


推荐人:大俊,PaperWeekly 首席客服


#CVPR 2017#


Learning to Learn from NoisyWeb Videos


识别多样化(diverse)和细分类(fine-grained)的人类动作是计算视觉中一个重要的未解决问题。解决这个问题的第一步是准备海量的训练数据集。Web 搜索引擎是一个重要的数据源,但是搜索引擎输出的数据通常都很“脏”(Noisy)。这篇文章提出了一种基于强化学习的数据筛选方法。其想法是利用 Q-learning 的方法从少量的标号数据学习出一个数据标记策略来自动标记“脏”数据。 


文中的模型有两个组成部分:


1. 一个分类器,用来区分“脏”数据和干净的数据。


2. 一个 Q-Learning 代理,用来迭代的从候选数据集合中选择干净的样本训练分类器。其中 Q-Learning 代理模型是关键。假设代理的动作集合为 A={1,…,K},A 中每个动作 a 都对应一个候选数据集合中一个子集合 Da(即动作 a 认为干净的样本集)。文中将代理的状态 s 建模为(Hpos, Hneg, {HD1, HD2, …, HDK}, P)其中 Hxxx  是分类器在相应数据集合上的响应值分布的柱状图(文中选了 10 个 bin),P 为已经得到的干净的样本比率。利用 Q-Network 建模 Q-value,Q-Learning 的奖赏由分类器在一个独立的人工标记的数据集合上准确率给出。 


本文最后做了三个数值实验来验证方法的有效性:一个基于 MNIST 的人造问题,Sports-1M 数据集合,和缺少人工标记的新动作识别。比较了 5 个 baseline 方法,这些 baseline 方法涵盖了目前主要的 Web 搜索引擎数据处理方法。通过实验,本文的方法取得优于 baseline 方法的效果。


论文链接:https://arxiv.org/abs/1706.02884


推荐人:吴沐,北京航空航天大学(PaperWeekly arXiv 打卡小组)


#训练优化#


meProp: Sparsified Back Propagation for Accelerated Deep Learning with Reduced Overfitting


本文提出了一种加速训练的方法,在反向传播时仅仅对一小部分梯度用来更新模型参数,实验结果表明训练速度加快的同时准确率也不错。本文已被 ICML 2017 录用。


论文链接:https://arxiv.org/abs/1706.06197


推荐人:大俊,PaperWeekly 首席客服


#推荐系统#


Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks


来自推荐领域的数据,通常具有很高维的输入输出特征,这样导致非常难以训练。本文提出使用 BE(Bloom Embedding)压缩输入输出的高维编码,在保证精度的条件下可以压缩至原有数据的 1/5,在一些情况下甚至提升结果精度。 


本文核心在于提出一种从概率输出映射到原始输入的方法,假设输出为 u={u1, u2, …ui} 一组概率,按照 Bloom filters 的思想,设计映射回原始空间不同位置的值的 Likelihood 函数:L(q_{i}) = \prod _{j=1}^{k}\hat{v}_{H_{j}(q_{i})} i={1...d},并基于此方法提出相应的训练方法。 


对比HT(Hashing trick),ECOC(Error-correcting output codes), PMI(Pairwise mutual information),CCA(Canonical correlation analysis)等 Embedding 方法,BE 主要拥用即时操作、常数时间复杂度、无监督等优点。在基于已有的算法框架之上,在一些推荐和预测数据集上进行实验,大多在 m/d=0.2(压缩到 1/5)时能得到较好的结果。 


最后基于共现矩阵提出 CBE(co-occurrence-based Bloom embedding),其主要思想是通过重定向 Hash 值,把冲突的发生尽量聚合到有共现的 item 集合中,通过实验发现在低 d/m 下,相对 BE 能取得更好的效果。 


Accepted for publication at ACM RecSys 2017


论文链接:https://arxiv.org/abs/1706.03993


推荐人:罗玄,北京邮电大学(PaperWeekly arXiv 打卡小组)


#综述#


An Overview of Multi-Task Learning in Deep Neural Networks


一篇关于多任务学习的综述文章。


论文链接:https://arxiv.org/abs/1706.05098


推荐人:大俊,PaperWeekly 首席客服


PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

入门NLP理论PaperWeekly论文GANCVPR 2017
暂无评论
暂无评论~