哈工大SCIR原创

2018/05/11 09:33

赛尔推荐

本次推荐了三篇关于情感生成、情感分析、迁移学习、机器翻译双向解码的论文。

一、

推荐组：SA

推荐人：吴洋（研究方向：情感分析）

论文题目：Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory

作者：Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, Bing Liu

出处：AAAI 2018

论文主要相关：情感生成

简评：

这篇论文探索了“如何控制生成文本中的情感”这一问题，是中文情感生成领域的前沿工作。

论文模型中encoder部分采用传统的encoder，decoder部分进行了多处具有创新的改动。一是加入了Internal Memory部分，该部分是受到心理学理论的启发而设计的，即人的情感强度随着表达不断衰减。二是加入了External Momory部分，该部分将情感词与情感词分开进行softmax计算概率，并用系数来调整当前对两类词的输出偏好。三是加入Emotion Category Embedding部分旨在让解码器每一步都能得到要生成情感的指示信息。

Decoder部分的大体流程是一开始通过指定的情感得到对应的Emotion Category Embedding，与此同时在Internal Memory部分计算读出门和写入门的值，读出门的值点乘情感单元的值得到要输出到解码单元中的向量，写入门的值点乘情感单元的值即是下一个时间步情感单元的值。当前时间步的解码单元得到情感单元输出值和Emotion Category Embedding之后，将其与context向量拼接，计算出当前解码单元的输出，利用输出向量通过External Momory来计算输出词的概率分布。　　

评价方式采取了两种方式，第一种使用生成的文本与规定的情感极性是否一致，即计算accuracy。第二种，使用人工的方式，对文本的内容和情感打分，在这个过程中，采取一些统计学方法说明人工打分没有偏见。最终结果表明，三处的改动均起到提升的作用。

论文链接：

https://arxiv.org/pdf/1704.01074.pdf

二、

推荐组：SP

推荐人：石乾坤（研究方向：股市预测）

论文题目：End-to-End Adversarial Memory Network for Cross-domain Sentiment Classification

作者：Zheng Li, Yu Zhang, Ying Wei, Yuxiang Wu, Qiang Yang

出处：IJCAI 2017

论文主要相关：情感分析，迁移学习

简评：情感分析指的是对一句话的情感倾向（表扬/批评）进行分析，自然语言处理领域中，学者们经常使用亚马逊商品评论作为该领域的标准数据集，这些评论包括电子用品评论、书籍评论、DVD评论等。

情感分析任务中，一个针对A领域（如针对电子用品的评论）训练出的模型，如果用来判别其他领域（如针对书籍的评论）的情感倾向，模型的表现往往较差，这种特点被称为领域独立。该特点使得训练一个针对各领域通用的模型较为困难，而针对每种评论都训练出一个模型又需要大量标注数据，耗时耗力。为解决这个问题，学者们提出了迁移学习模型。

本文提出了Adversarial Memory Network（AMN）模型以进行领域迁移，该模型中的Attention机制可以自动捕捉文本中的关键词，模型中的一个Memory network用于情感分析，另一个Memory network结合Gradient Reversal Layer用于领域混淆。针对上文中提到亚马逊商品评论数据集，该模型的表现显著超过了baseline模型，取得了State of the art的效果。除此之外，该模型还可以显式的给出文本中表达情感的关键词（如great, terrible等），其模型的可解释性也优于其他的深度学习模型。

论文链接：

https://www.ijcai.org/proceedings/2017/311

三、

推荐组：TG

推荐人：耿昕伟（研究方向：文本生成技术研究）

论文题目：Asynchronous Bidirectional Decoding for Neural Machine Translation

作者：Xiangwen Zhang, Jinsong Su, Yue Qin, Yang Liu, Rongrong Ji , Hongji Wang

出处：AAAI 2018

论文主要相关：机器翻译双向解码

简评：传统的机器翻译模型在解码过程中由于使用RNN，所以其只能进行从左到右或者从右向左的单方向的解码。然而实际中发现从左到右和从右向左两种解码方式可以实现信息的互补，例如现在经常使用的双向RNN进行编码。

本文首先使用一个从右向左的backward decoder对输入进行解码，在此过程中生成解码端隐含层序列，其包含相应的解码端上下文信息。然后使用另外一个从左到右的forward decoder进行二次解码，在解码每一步，其用当前的隐含层表示不仅attend编码器生成的隐含层序列，而且也使用backward decoder的隐含层序列获取有用的解码端上下文信息。实验显示，该模型相比传统的NMT模型在中英和英德机器翻译任务上分别取得3.14和1.38个BLEU提升。

论文链接：

https://arxiv.org/pdf/1801.05122.pdf

本文来源于哈工大SCIR

原文链接点击即可跳转

哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

入门情感生成情感分析迁移学习机器翻译双向解码

相关数据

杨强人物

杨强现任香港科技大学新明工程学讲席教授、计算机科学和工程学系主任，大数据研究所所长。他是人工智能研究的国际专家和领军人物，在学术界和工业界做出了杰出的服务和贡献，尤其近些年为中国人工智能(AI)和数据挖掘(KDD)的发展起了重要引导和推动作用。

来源：百度百科 Yang, Q.

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

神经机器翻译技术

2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络（CNN）将给定的一段源文本编码成一个连续的向量，然后再使用循环神经网络（RNN）作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译（NMT）的诞生；神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型，而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外，RNN 应该还能得到无限长句子背后的信息，从而解决所谓的「长距离重新排序（long distance reordering）」问题。

来源：机器之心

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

概率分布技术

概率分布（probability distribution）或简称分布，是概率论的一个概念。广义地，它指称随机变量的概率性质－－当我们说概率空间中的两个随机变量具有同样的分布（或同分布）时，我们是无法用概率来区别它们的。

来源：维基百科

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科