这里给大家带来一篇武大刘威威老师、南理工沈肖波老师和 UTS Ivor W. Tsang 老师合作的 2020 年多标签最新的 Survey。

本文将介绍我们提出的轻量、动态图卷积网络（简称 LDGCN），可以有效的融合图结构中来自不同阶节点的信息，进而学习更优的图表示，并提升下游文本生成的效果。

注意力机制是否真的能够提供模型的可解释性，为什么要使用注意力作为模型可解释性研究的一个重要途径呢？为了回答这个问题，并深入研究注意力机制在可解释性研究中发挥的作用。就有了本文这个工作。

该工作提出了一种新颖的体系结构，其目标在于更好地利用语料库级别的单词共现信息以及不同类型的句法依存关系。

本文最突出的一个地方在于考虑了更好的 embedding 方法，而不是只使用 BPE 的结果，通过结合字符级别和词级别的信息实现了更为全面的输入编码，同时，结合 RNN 和 CNN 的优势也是本文的另一个亮点，基本上 CNN，RNN，Transformer 都使用上了，也体现了新老研究成果的结合在一定程度上能进一步提升方法的性能，可以认为是一个可行的研究方向。

本文提出了一种新的实体关系联合抽取标注方案，可在一个模型中实现真正意义上的单阶段联合抽取，不存在曝光偏差，并且同时可解决多关系重叠和多关系实体嵌套的问题。

本文回顾了一下 Google 去年发布的 T5 模型，然后介绍了最近发布的多国语言版的 mT5，最后介绍了如何在 bert4keras 中微调 mT5 来做中文任务，结果显示 mT5 在中文生成上有着很不错的表现，值得做文本生成任务的同学一试。

本文通过课程学习的形式，将数据集从易到难进行分类，在此基础上对模型进行训练，从而进一步提高了预训练模型在 fine-tune 阶段的效果，思路非常有意思。

我们从 ICLR 2021开放投稿的3000篇论文中，粗略筛选了近100篇与自然语言处理领域中也许值得一读的论文，供大家查阅。

本次分享的论文是 KDD 2020 的一篇工作，出发点是为了更好地建模多变量时间序列数据中成对变量之间的潜在空间依赖。

最近对一个大规模的图训练嵌入，发现相关的中文资料还是很欠缺的，把自己踩的一些坑记下来。本文主要针对 DGL [1] 和 PyTorch [2] 两个框架。

本文主要来源于 Annual reviews 最新发表材料领域的 2020 年度综述。机器学习利用化学和材料数据正在改变材料发现和设计领域，但要充分利用机器学习算法、工具和方法仍需要大量工作。在这里，本文回顾了该领域迄今为止的成就，主要关注三个方面。

近日，CMU 的研究人员在 arXiv 上放出了一份技术报告，介绍他们如何通过蒸馏（distillation）训练一个强大的小模型。

本文提出了对话式问题建议（Conversatioal question suggestion）这一新的方式，帮助用户通过更接近于对话式检索的方式，获得更好的搜索体验。

本文提出一种通用的视觉表征，将图片信息融合到机器翻译模型中。

本文总结了几种方法常见的解决的数据量少的问题的方法，并对 Data augment 进行了详细的总结，希望对您有所帮助。