路 王淑婷编译

如何帮助大家找工作?领英利用深度表征学习提升人才搜索和推荐系统

本文介绍了领英利用深度表征学习模型来提升人才搜索和推荐系统。

领英征才解决方案(LinkedIn Talent Solutions,LTS)业务为领英贡献了大约 65% 的年收入,该业务方便职位提供者接触潜在应聘者,也方便求职者找到合适的工作机会。领英求职生态系统的设计方向是使其成为连接职位提供者和求职者的平台,高效匹配潜在应聘者和工作机会。帮助实现这些目标的关键机制是领英雇佣帮手(LinkedIn Recruiter),它帮助招聘人员寻找相关的应聘者,获取适合其空缺职位的推荐应聘者。

人才搜索和推荐系统的重要挑战在于底层的查询机制很复杂,它结合了多个结构化字段(如标准职位、标准技能、公司名)和非结构化字段(如任意文本关键词)。而通过领英雇佣帮手,查询可以是输入查询文本和选择侧面(人才搜索)这样的显性形式,也可以是工作机会这样的隐性形式,或者职位的完美应聘者(人才推荐)。领英的目标是从数亿结构化的应聘者资料中选出最相关的候选人,然后列出排名。

结构化字段作为机器学习排序模型的一部分,为特征空间添加了稀疏性。该设置适用于密集表征学习实验,因为它不仅减少了稀疏性,还增加了信息在特征空间中的比重。本论文展示了如何将表征学习技术应用于领英人才搜索排序。本文主要贡献如下:

  • 在学习对应用进行排序时使用嵌入作为特征。这通常包括:

  • 用于排序、评估层级(全连接)架构优势的嵌入式模型;

  • 使用逐点学习和成本函数中的成对损失训练模型时的考虑因素。

  • 使用 LinkedIn Economic Graph [30] 的结构学习稀疏实体(如招聘者 id、应聘者 id、技能 id 等)语义表征的方法:

  • 使用领英生态系统中 Economic Graph network 数据的无监督表征学习

  • 利用来自人才搜索域的应用特定数据的监督表征学习

  • 在领英人才搜索的语境中对上述方法进行大量离线和在线评估,并讨论实践中的挑战和经验教训。

尽管该讨论大部分是在领英人才搜索的语境中进行的,但它可有效泛化至任意的多维搜索引擎,包括电影、食物/餐厅等高维度。

论文:Towards Deep and Representation Learning for Talent Search at LinkedIn

论文链接:https://arxiv.org/abs/1809.06473

摘要:领英人才搜索和推荐系统力求匹配潜在应聘者与招聘人员的招聘需求,或招聘人员以搜索查询或发布职位的方式表达需求。该领域的近期研究主要关注线性模型(不考虑特征之间的复杂关系)和集成树模型(引入非线性,但仍不足以探索所有潜在的特征交互),且严格分隔特征生成和建模。本论文展示了我们在领英雇佣帮手上应用我们的深度表征学习模型的结果。我们的主要贡献包括:1)学习人才搜索领域中稀疏实体(如招聘者 id、应聘者 id 和技能 id 等)的语义表征,所用的神经网络模型使用 LinkedIn Economic Graph;2)学习人才搜索应用中招聘者邀请和应聘者回应的深度模型。我们还尝试学习对应用于深度模型的方法进行排序,并展示这在人才搜索用例中的益处。3)最后,我们展示了对领英人才搜索和推荐系统的离线和在线评估结果,并讨论通往完全深度模型架构过程中的潜在挑战。本文所讨论的挑战和方法可泛化至任意多维搜索引擎。

2 背景和问题设置

这部分简要介绍了领英雇佣帮手这款产品和现有的排序模型,并正式展示人才搜索排序问题。

2.1 背景

领英是世界上最大的职业社交网络,覆盖来自全世界的 5 亿多名成员。领英的每个成员都有一个资料页,用来记录职业成绩和资料,如图 1 所示。典型的成员资料包含 5-40 个结构化和非结构化的字段,如职位名称、公司、经历、技能、教育和总结等。

图 1:领英资料页示例。

在人才搜索方面,领英成员可被分为两类:应聘者和招聘者。应聘者寻找合适的工作机会,招聘者寻找合适的员工。本研究解决了领英雇佣帮手这款产品中的建模挑战,帮助招聘者寻找合适的应聘者。

与只关注字段与给定查询之间关联度的传统搜索和推荐系统不同,人才搜索领域需要招聘者和应聘者「看对眼」。也就是说,我们不仅需要推荐的应聘者与招聘者的查询相关,还需要招聘者联系的应聘者必须对这一工作机会感兴趣。

2.2 当前模型

当前的人才搜索排序系统功能如下 [12, 13]。第一步,系统利用搜索查询指定的硬性筛选条件,从超过 5 亿领英用户中检索出包含数千成员的集合。具体来说,查询请求基于从查询文本中提取的标准化字段和选择维度(如技能、职位名称和行业)创建。然后,将查询请求发送给分布式搜索服务层,它建立在领英 Galene 搜索平台 [26] 之上。应聘者列表则基于匹配特征(如职位名或技能匹配)生成。第二步,搜索排序系统使用排序模型对这些应聘者打分,然后返回排名靠前的应聘者列表。本论文主要关注第二步使用的排序模型。

3 方法

本章展示了我们的方法,主要包含两个方面:

  • 学习深度模型来评估应聘者和招聘者之间产生双向兴趣的可能性;

  • 学习人才搜索领域中实体的监督和无监督嵌入。

3.1 用于排序的嵌入式模型

如前所述,我们想要一个灵活的排序模型,可以轻松适应新特征和训练机制。近期神经网络的发展使得它们成为很多统计学习任务的当前最优技术,包括排序模型 [4, 19],因此神经网络因其模块化结构和利用梯度优化方法进行端到端训练的能力,成为最佳选择。因此我们使用神经网络 ranker 作为领英人才搜索的排序模型。具体来说,我们提出具备自定义激活函数的多层感知机(MLP),并利用它执行排序任务。我们的模型支持多种模型正则化方法的混合,包括 L2 范数惩罚项和 dropout [27]。

出于神经网络的训练目标,我们考虑了两个学习排序模型的常用方法:

  • 逐点学习。又叫二分类排序。该方法需要利用训练集中的每个样本和标签训练二分类器,然后将来自同样搜索会话的样本分成一组,再基于分数进行排序。

  • 成对学习。尽管逐点学习易于实现,且性能较好,但人才搜索排序的主要目标是提供应聘者的排名,这需要可用会话数据中的内在信息。

3.2 学习人才搜索中稀疏实体的语义表征

接下来,我们来看稀疏实体表征的问题,它将不同实体(技能、职位名等)转换为低维向量格式,使得不同种类的模型能够直接利用实体作为特征向量。

无监督方法学习实体的共享表征空间,从而构建查询表征和成员表征。我们不使用人才搜索的专门互动来监督表征学习

监督方法利用招聘者和应聘者在历史搜索结果中的互动,同时学习表征空间和最终得分。

图 3:具备浅层查询网络和深层成员网络的架构。

图 4:每个顶点代表一家公司,由颜色、虚线或常规边来表示的边权重代表曾在这两家公司工作过的成员。

图 5 展示了本文提出的人才搜索排序系统的在线架构,包括嵌入步骤。我们设计该架构的目的是能够离线计算成员嵌入,但查询嵌入需要在运行时计算。

图 5:人才搜索排序在线系统架构。

4 实验

表 3:使用逐点损失、成对损失和不同层训练的端到端 MLP 模型与基线梯度提升树模型相比的准确率变化情况。

表 4:使用无监督嵌入的离线实验。

表 5:使用监督嵌入的离线实验。

表 6:在线 A/B 测试结果。

理论NLP推荐系统无监督表征学习领英
1
相关数据
范数技术

范数(norm),是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,是一个函数,其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。

激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

机器学习排序技术

排序学习可以是监督,半监督或强化学习,用于构建信息检索系统的排名模型。训练数据通常为包含部分排序信息的列表,该排序通常表示为对每个物体都使用一个数字或序号表示的分数,或者是二元判断(相关或不相关)。排序模型的最终目的是得到可靠的排序,即便列表中的物体未曾出现过。常用的排序学习方法主要有:逐个的(PointWise),逐对的(PairWise)和逐列的(ListWise)。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

结构学习技术

结构化预测是监督学习,分类和回归的标准范式的一种推广。 所有这些可以被认为是找到一个能最大限度减少训练集损失的函数。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

梯度提升技术

梯度提升是用于回归和分类问题的机器学习技术,其以弱预测模型(通常为决策树)的集合的形式产生预测模型。 它像其他增强方法一样以阶段式方式构建模型,并且通过允许优化任意可微损失函数来推广它们。

表征学习技术

在机器学习领域,表征学习(或特征学习)是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前,机器学习研究人员需要利用手动特征工程(manual feature learning)等技术从原始数据的领域知识(domain knowledge)建立特征,然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效,但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点,它使得机器不仅能学习到数据的特征,并能利用这些特征来完成一个具体的任务。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

A/B 测试技术

一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好,而且还有助于了解相应差异是否具有显著的统计意义。A/B 测试通常是采用一种衡量方式对两种技术进行比较,但也适用于任意有限数量的技术和衡量方式。

推荐文章
暂无评论
暂无评论~