Element AI、蒙特利尔大学等新热门研究论文,「Transformer 语言模型针对文档综述的信息提取」
近日,一篇来自 Element AI, 蒙特利尔大学等机构研究人员合著的新论文在社交网络引发热烈讨论。研究人员不光阐述了其利用 Transformer 语言模型提取文件信息的能力,甚至连该论文本身的概要就是由其模型生成。以下为该论文概述:我们提出了一种方法,通过神经抽象概括来生成超过几千个单词的长文档的抽象摘要。我们在生成摘要之前执行一个简单的提取步骤,然后在生成摘要之前使用该摘要来调整相关信息的 Transformer 语言模型。我们表明,这个提取步骤显着改善了摘要结果。我们还表明这种方法能生成更抽象的摘要。