Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

刘一仝 刘铭作者

赛尔推荐 | 第29期

本期为本学期最后一期赛尔推荐,下学期开学后将继续发布,敬请期待!

本次推荐了三篇关于迁移学习强化学习和文本摘要的论文。

1、推荐组:SA

推荐人: 袁建华(研究方向:情感分析)

论文题目:Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm

作者:Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, Sune Lehmann

出处:EMNLP 2017

论文主要相关:远距离监督、Twitter情感分类、迁移学习

简评:本文使用远距离监督(Distant Supervision)方法,从Twitter数据上收集大规模的含表情符、带噪声的情绪语料。接着移除语料中的表情符作为ground-truth标签,预测Tweet文本剩余部分可能的表情符。通过预测表情符,本文提出的DeepMoji模型能学到文本情绪相关的特征表示。作者通过迁移学习将上述模型应用到情感、情绪、反讽分类任务上,取得了目前最好的结果。本文与之前使用Emoji和Emoticon情感分析模型的最大区别在于,DeepMoji使用多达64种表情符,表情符的多样性使得模型能学习到更好的文本情绪表示,而且学习的结果更加鲁棒。

论文链接:

https://www.aclweb.org/anthology/D17-1169

数据链接:

https://github.com/bfelbo/DeepMoji

2、推荐组:SP

推荐人:石继豪(研究方向:社会计算、智能金融)

论文题目:Mining Evidences for Concept Stock Recommendation

作者:Qi Liu, Yue Zhang

出处:NAACL 2018

论文主要相关:信息检索强化学习

简评:本文的任务是根据给定股票市场中某一概念,从新闻、财报等数据源中发现相关概念股。文中作者将给定的“概念”比作信息检索中的查询,将相关概念股比作信息检索查询得到的结果,根据新闻、财报等数据源建立概念及概念股之间的关系。首先想到的方法是对查询结果进行排序,但这种方法需要大量的标注语料才能达到不错的效果。同时,这种方法还面临着另一个问题,数据集高度不均衡。股票市场中有数以千计的股票,但特定概念的概念股相对来说数量较少,这种情形极大地影响训练过程的性能。本文采用查询扩展的方法,但不同于以往的人工构建规则的查询扩展(例如k近邻查询扩展),本文通过利用强化学习查询进行动态扩展。k近邻查询每次扩增固定数量k个,有时会引入无关查询,而采用强化学习的方法可以学到策略——某一候选概念是否对概念股推荐的准确性起到提升、降低还是无影响的作用。在金融界和同花顺数据集上的实验结果优于很强的信息检索技术的baseline。

--Sample Output--

Query: 房地产 

Results:招商地产,滨江集团,世荣兆业, 绿景地产, 万科, 大龙地产, 苏宁环球, 上实发展, 阳光发展

论文链接:

http://aclweb.org/anthology/N18-1191

源代码链接:

https://github.com/leuchine/concept-stock-recommendation

3、推荐组:TG

推荐人:孙亚威(研究方向:文本摘要)

论文题目:Neural Document Summarization by Jointly Learning to Score and Select Sentences

作者:Qingyu Zhou, Nan Yang, Furu Wei, Shaohan Huang, Ming Zhou, Tiejun Zhao

出处: ACL 2018

论文主要相关: NEUSUM模型,最大边缘相关模型(MMR), 文本摘要

简评:句子评分和句子选择是文本摘要系统的两个主要步骤,但在之前的工作中,这两个步骤作为系统的两个子任务被分开。这种分割任务的坏处在于两个任务不能互相利用彼此的信息。这篇论文提供了一种端到端神经网络架构的文本摘要系统,该系统将句子评分和句子选择这两个孤立的步骤连接起来。本文利用CNN/Daily Mail数据集,在最大边缘相关模型基础之上加以改进进而提出NEUSUM模型,这个模型主要分为文本编码和句子抽取两部分。首先它用分层编码器读取文本的句子,以获取句子的抽象表示,其中编码器分为文档层编码和句子层编码两层,采用GRU模型。接着它利用句子评分和选择的结果逐个抽取句子,从而构造文本摘要输出,在这个过程中句子评分和句子选择被统一为一个整体,不仅句子评分可以利用之前迭代中已近选取句子的信息,句子的选择过程也会被简化。实验结果将LEAD3、TEXTRANK、CRSUM、NN-SE、SUMMAR-RUNNER以及PGN六种常见模型作为BASELINE,进行比较,文本摘要效果明显优于前面两步骤割裂的传统模型方法。本文的亮点在于基于最大边缘相关模型基础之上,提出一种将句子评分和句子选择两个独立步骤统一结合的思想,在每次选择句子的时候它都会依据之前部分抽取摘要以及当前句子状态联合评分。

本文来源于哈工大SCIR

赛尔推荐 | 第29期

哈工大SCIR
哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

入门迁移学习强化学习文本摘要
1
相关数据
信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

推荐文章
暂无评论
暂无评论~