纪厚业作者北京邮电大学博士生单位

KDD 2019开源论文 | 基于异质图神经网络的用户意图推荐

本文由北邮联合阿里巴巴发表在数据挖掘顶会 KDD 2019 上。作者也开源了代码和数据:https://github.com/googlebaba/KDD2019-MEIRec

引言

本文研究了电商场景下的一种新型推荐服务:意图推荐。不同于传统的商品推荐,意图推荐希望在用户打开 APP 并没有任何输入的情况下来预测用户的意图。Figure 1 展示了在手机淘宝上的用户意图。

现在工业界针对意图推荐的解决方案主要是基于特征工程的算法来挖掘属性信息。这样就导致推荐场景里的丰富的交互信息没有充分挖掘。针对上述问题,本文将意图推荐场景建模为异质图(见 Figure 2)并设计了一种 Metapath-guided Embedding method for Intent Recommendation(MEIRec)来进行用户意图推荐。

模型

本文所提出的 MEIRec 的核心思想是:设计一个异质神经网络来学习 user 和 query 的表示。Figure 3 展示了 MEIRec 的整个算法框架。

Uniform Term Embedding

在意图推荐场景下,有十亿级的 users 和 queries,因此我们无法给每个 user 活 query 初始一个 Embedding。需要注意的是,每个 query 或者 item 都可以用少量关键 term 来表示。因此,这里作者利用一些共享的 term embedding 来对 query 和 item 进行表示。这里作者给了一个简单的例子:

可以看出,q2 由表示,i2 由表示。那么,它们的 embedding 则可以由相应的 term embedding 来表示。

这里,g(·) 代表融合函数,作者使用的是简单平均。

Metapath-guided Heterogeneous Graph Neural Network

受 GNN 的启发,作者这里提出了一种 Metapath-guided Heterogeneous GNN 来聚合邻居信息并更新节点表示。聚合过程如 Figure 4 所示。

Figure 4 描述了如何通过元路径 UIQ 和 UQI 来聚合 query 和 item 的信息并学习 U2 的表示。以右边紫色的 UQI path 为例,q1 聚合 i1 的信息,q2 聚合来自 i2 的信息,然后 q1 和 q2 的信息进行聚合得到了节点 u2 在 UQI 下的表示。最后就是多路径的信息融合:的信息聚合起来得到最终 u2 的表示

User Modeling

以元路径 UIQ 为例,首先聚合 query 的信息来更新 item 的表示。聚合函数有多种选择,这里作者选择了平均函数来学习 item 的表示。

然后聚合 iterm 的信息来学习 user 的表示。这里作者将用户的邻居认为是序列数据,通过 LSTM 来聚合邻居信息。

为了更加全面的描述 user,作者选取了多条元路径来学习 user 的表示并进行融合:

Query Modeling

与 User Modeling 相似,作者也选择多条元路径并通过异质神经网络来学习 query 的 embedding。

Optimization Objective

最后,作者将 user 和 query 的 embedding 及其特征拼接起来,利用 pair-wise loss 进行优化。

实验

本文所做的实验都是基于手机淘宝的数据。数据统计信息见 Table 1。

可以看出,本文所用的数据集有 3 个特点:1)数据集规模非常大;2)测试集中有大量的新用户;3)数据集极度稀疏。

这里的 baseline 主要选择了一些工业界常用的 LR,DNN 和 GBDT。这里是由于很多 state-of-the-arts 的算法无法处理大规模工业数据。

离线实验见 Table2, 线上实验见 Table3。可以看出,本文所提出的 MEIRec 效果远超相关 baselines。

同时,作者也做了不同聚合函数,不同元路径和不同邻居数对 MEIRec 的影响。总的来说,随着邻居数或者元路径数的增加,MEIRec 的效果不断提升,但是相应的运行时间也会增长。

总结

本文首先研究了一个很重要且富有挑战的的问题:意图推荐。针对意图推荐的场景特点,作者首先建立了大规模异质图并设计了相应的异质神经网络来进行意图推荐。大量充分的实验结果也证明了 MEIRec 的有效性。

过去一年,基于神经网络的推荐算法在各大顶会层出不穷。在实际工业应用时,数据交互更为复杂。因此,基于异质神经网络的推荐有更好的使用价值。

PaperWeekly
PaperWeekly

推荐、解读、讨论和报道人工智能前沿论文成果的学术平台。

理论特征工程推荐算法KDD 2019
1
相关数据
神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

特征工程技术

特征工程是利用数据所在领域的相关知识来构建特征,使得机器学习算法发挥其最佳的过程。它是机器学习中的一个基本应用,实现难度大且代价高。采用自动特征工程方法可以省去采用人工特征工程的需求。Andrew Ng 说“挖掘特征是困难、费时且需要专业知识的事,应用机器学习其实基本上是在做特征工程。”

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。 阿里巴巴集团经营多项业务,另外也从关联公司的业务和服务中取得经营商业生态系统上的支援。业务和关联公司的业务包括:淘宝网、天猫、聚划算、全球速卖通、阿里巴巴国际交易市场、1688、阿里妈妈、阿里云、蚂蚁金服、菜鸟网络等。 2014年9月19日,阿里巴巴集团在纽约证券交易所正式挂牌上市,股票代码“BABA”,创始人和董事局主席为马云。 2018年7月19日,全球同步《财富》世界500强排行榜发布,阿里巴巴集团排名300位。2018年12月,阿里巴巴入围2018世界品牌500强。

https://www.alibabagroup.com/
推荐文章
暂无评论
暂无评论~