2020/04/03 14:58

京东商城背后AI技术揭秘（一）——基于关键词导向的生成式句子摘要

过去几十年间，人类的计算能力获得了巨大提升；随着数据不断积累，算法日益先进，我们已经步入了人工智能时代。确实，人工智能概念很难理解，技术更是了不起，背后的数据和算法非常庞大复杂。很多人都在疑惑，现在或未来AI将会有哪些实际应用呢？其实，关于AI的实际应用以及所带来的商业价值并没有那么的“玄幻”，很多时候就已经在我们的身边。接下来，【AI论文解读】专栏将会通过相关AI论文的解读，由深入浅地为大家揭秘，AI技术是如何对电商领域进行赋能，以及相关的落地与实践。

导言

人工智能技术在电商领域，有着丰富的应用场景。应用场景是数据入口，数据通过技术得到提炼，反过来又作用于技术，二者相辅相成。

京东基于自然语言理解与知识图谱技术，开发了商品营销内容AI写作服务。并将此项技术应用到了京东商城【发现好货】频道中。

通过AI创作的数十万商品营销图文素材，不仅填补了商品更新与达人写作内容更新之间的巨大缺口，也提升了内容频道的内容丰富性。

同时，AI生成内容在曝光点击率、进商详转化率等方面其实都表现出了优于人工创作营销的内容。

接下来让我们让我通过解读入选 AAAI 2020 的论文来一起来看看，针对不同群体采用不同营销策略及不同风格的营销文案从而提高营销转化率是怎样通过AI来实现的。

自动文本摘要（简称“自动文摘”）是自然语言处理领域中的一个传统任务，其提出于 20 世纪 50 年代。自动文摘任务的目标是对于给定的文本，获得一段包含了其中最重要信息的简化文本。常用的自动文摘方法包括抽取式自动文摘（Extractive Summarization)和生成式自动文摘（Abstractive Summarization)。抽取式自动文摘通过提取给定文本中已存在的关键词、短语或句子组成摘要；生成式自动文摘通过对给定文本建立抽象的语意表示，利用自然语言生成技术，生成摘要。

本文所介绍的是基于关键词指导的生成式句子摘要方法，该方法融合了抽取式自动文摘和生成式自动文摘，在Gigaword句子摘要数据集上与对比模型相比，取得了更好的性能。

论文链接：http://box.jd.com/sharedInfo/B2234BB08E365EEC

1、生成式句子摘要

生成式句子摘要(Abstractive Sentence Summarization)任务的输入是一个较长的句子，输出是该输入句子的简化短句。

我们注意到，输入句子中的一些重要词语（即关键词）为摘要的生成提供了指导线索。另一方面，当人们在为输入句子创作摘要时，也往往会先找出输入句子中的关键词，然后组织语言将这些关键词串接起来。最终，生成内容不仅会涵盖这些关键词，还会确保其流畅性和语法正确性。我们认为，相较于纯粹的抽取式自动文摘和生成式自动文摘，基于关键词指导的生成式自动文摘更接近于人们创作摘要时的习惯。

我们举一个简单的句子摘要的例子。如图1所示，我们可以大致将输入句子和参考摘要的重叠的词（停用词除外）作为关键词，这些重叠的词语覆盖了输入句子的要点。例如，我们通过关键词“世界各国领导人”“关闭”和“切尔诺贝利” ，可以获取输入句子的主旨信息，即“世界各国领导人呼吁关闭切尔诺贝利”，这与实际的参考摘要 “世界各国领导人敦促支持切尔诺贝利核电站关闭计划”是相吻合的。这种现象在句子摘要任务中很常见：在Gigaword句子摘要数据集上，参考摘要中的词语超过半数会出现在输入句子中。

2、模型概述

句子摘要任务的输入为一个较长的句子，输出是一个简短的文本摘要。我们的动机是，输入文本中的关键词可以为自动文摘系统提供重要的指导信息。首先，我们将输入文本和参考摘要之间重叠的词（停用词除外）作为Ground-Truth关键词，通过多任务学习的方式，共享同一个编码器对输入文本进行编码，训练关键词提取模型和摘要生成模型，其中关键词提取模型是基于编码器隐层状态的序列标注模型，摘要生成模型是基于关键词指导的端到端模型。关键词提取模型和摘要生成模型均训练收敛后，我们利用训练好的关键词提取模型对训练集中的文本抽取关键词，利用抽取到的关键词对摘要生成模型进行微调。测试时，我们先利用关键词提取模型对测试集中的文本抽取关键词，最终利用抽取到的关键词和原始测试文本生成摘要。

（1）多任务学习

文本摘要任务和关键词提取任务在某种意义上非常相似，都是为了提取输入文本中的关键信息。不同点在于其输出的形式：文本摘要任务输出的是一段完整的文本，而关键词提取任务输出的是关键词的集合。我们认为这两个任务均需要编码器能够识别出输入文本中的重要信息的能力。因此，我们利用多任务学习框架，共享这两个任务编码器，提升编码器的性能。

（2）基于关键词指导的摘要生成模型

我们受Zhou等人工作[1]的启发，提出了一种基于关键词指导的选择性编码。具体来说，由于关键词含有较为重要的信息，通过关键词的指导，我们构建一个选择门网络，其对输入文本的隐层语义信息进行二次编码，构造出一个新的隐层。基于这个新的隐层进行后续的解码。

我们的解码器基于Pointer-Generator网络[2]，即融合了复制机制的端到端模型。对于Generator模块，我们提出直连、门融合和层次化融合的方式对原始输入文本和关键词的上下文信息进行融合；对于Pointer模块，我们的模型可以选择性地将原始输入和关键词中的文本复制到输出摘要中。

3、实验与分析

（1）数据集

在本次实验中，我们选择在Gigaword数据集上进行实验，该数据集包含约380万个训练句子摘要对。我们使用了8000对作为验证集，2000对作为测试集。

（2）实验结果

表1显示了我们提出的模型比没有关键词指导的模型表现更好。我们测试了不同的选择性编码机制，分别是输入文本的自选择，关键词选择和互选择，实验结果显示互选择的效果最佳；对于Generator模块，我们发现层次化融合的方式要优于其他两种融合方式；我们的双向Pointer模块比原始的仅能从输入文本中复制的模型表现更好。

4、总结

本文致力于生成式句子摘要的任务，即如何将一个长句子转换成一个简短的摘要。我们提出的模型可以利用关键词作为指导，生成更加优质的摘要，获得了比对比模型更好的效果。

1）通过采用了多任务学习框架来提取关键词和生成摘要；

2）通过基于关键字的选择性编码策略，在编码过程中获取重要的信息；

3）通过双重注意力机制，动态地融合了原始输入句子和关键词的信息；

4）通过双重复制机制，将原始输入句子和关键词中的单词复制到输出摘要中。

在标准句子摘要数据集上，我们验证了关键词对句子摘要任务的有效性。

注释：

[1] Zhou, Q.; Yang, N.; Wei, F.; and Zhou, M. 2017. Selective encoding for abstractive sentence summarization. In Proceedings of ACL, 1095–1104.

[2] See, A.; Liu, P. J.; and Manning, C. D. 2017. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL, 1073–1083.

在下一篇专栏文章中，我们会为大家详细介绍，京东商城是如何在现有基础上进行更进一步的技术探究与创新，从而有效提升电商的营销转化率的。敬请期待！

京东 AI 研究院：

京东AI研究院专注于持续性的算法创新，多数研究将由京东实际的业务场景需求为驱动。研究院的聚焦领域为：计算机视觉、自然语言理解、对话、语音、语义、机器学习等实验室，已逐步在北京、南京、成都、硅谷等全球各地设立职场。

京东科技开发者

京东科技开发者是京东集团旗下为人工智能、大数据、云计算、物联网等相关领域开发者提供技术分享交流的平台。平台将发布产品技术信息、行业技术内容、技术活动及大赛等资讯。拥抱技术，与开发者携手预见未来！

理论NLP

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

自然语言理解技术

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

来源：机器之心

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

多任务学习技术

自然语言生成技术

自然语言生成（NLG）是自然语言处理的一部分，从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时，心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。不过产生最终语言的方法不同于编译程式，因为自然语言多样的表达。NLG出现已久，但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向：自然语言理解系统须要厘清输入句的意涵，从而产生机器表述语言；自然语言生成系统须要决定如何把概念转化成语言。

来源：维基百科

京东机构

京东（股票代码：JD），中国自营式电商企业，创始人刘强东担任京东集团董事局主席兼首席执行官。旗下设有京东零售、京东物流、京东科技子集团、印尼&泰国海外合资跨境电商等核心业务。2013年正式获得虚拟运营商牌照。2014年5月在美国纳斯达克证券交易所正式挂牌上市。 2016年6月与沃尔玛达成深度战略合作。

https://www.jd.com