SIGIR 2020最佳论文公布,清华大学揽多个奖项,大三学生摘得最佳短论文奖

7月29日,SIGIR 2020最佳论文公布。

7月29日晚,第43届国际 “信息检索研究与发展” 年会(SIGIR - The International ACM SIGIR Conference on Research and Development in Information Retrieval)最佳论文正式公布。

本届会议最佳论文奖由康奈尔大学Thorsten Joachims团队获得,共同一作是Marco Morik和Ashudeep Singh。

清华大学本次获得了多个奖项:最佳论文荣誉提名奖清华大学张帆(一作)等获得,智源学者刘奕群也是作者之一;两个最佳短论文奖也都被清华大学摘取,第一作者分别是常健新和于是。值得一提的是,于是目前是大三学生,智源学者刘知远是指导老师之一。

作为 CCF 推荐的 A 类国际学术会议,SIGIR 历来都是互联网业内关注的焦点,会议覆盖了信息检索领域相关的各类前沿成果,包括基础理论、算法应用以及评估分析。本届SIGIR 2020(会议官网:https://sigir.org/sigir2020/)于7月25日-30日在线上召开,通过智源社区向全球同步直播(点击「阅读原文」观看回放)。

本次会议共收到论文投稿总数 1180 篇,总共录取 340 篇。其中,长文投稿555 篇,最终录用 147 篇,录用率约 26%;短文投稿507 篇,最终录用 152 篇,录取率约 30%。这是SIGIR继2011年于北京刷新该会议论文投稿记录后,时隔9年回到中国,投稿量和录取率再创新高。来自 32 个国家的 1221 名作者为录用论文做出了贡献。

1. 最佳论文奖

论文:Controlling Fairness and Bias in Dynamic Learning-to-Rank

论文地址:https://sigir-schedule.baai.ac.cn/poster/fp0069

本文作者:Marco Morik, Ashudeep Singh, Jessica Hong, Thorsten Joachims。其中Thorsten Joachims教授是康奈尔大学计算机系的教授,ACM Fellow,多年致力于无偏排序(unbiased ranking)的研究,在数据挖掘相关的顶级会议如KDD、SIGIR、WWW、WSDM、CIKM发表多篇相关著作,其中很多工作都颇具影响力,比如发表在SIGIR 2005上的Accurately interpreting clickthrough data as implicit feedback可以称得上是无偏排序的开山之作之一。
 
论文介绍:

排序算法在很多在线平台将用户和项目(比如新闻产品音乐等)进行匹配,在用户和项目双边考虑中,用户不仅评估排序算法的效益,而且排序算法本身也影响了项目提供端(比如出版商)的效益(比如曝光度)。目前的排序算法中并没有考虑到在项目提供端的效益。基于这些考虑,本文提出了显性的基于组(比如相同出版商出版的文章)的公平排序算法。在保证公平的同时,本文的算法可以有效的优化排序算法的效果。

具体来说,本文主要研究了动态学习排序算法,在算法设计中,有两个点需要重点考虑:一是排序系统本身会造成偏差(bias),这是由于排序高的项目可以获得更多的反馈,这样会造成这次排序高的项目在下次排序中排序也会高(richer-get-richer)。
     
偏差示意图(排序越高反馈越多)

二是排序系统本身是曝光度裁决者的身份,会直接影响曝光度和项目提供端相关收入,所以在排序过程中,需要考虑项目的公平性(fairness),比如项目曝光度(exposure)需要相关度(relevance)正比。
公平性示意图(图中左右排序项目的曝光度与相关度并不是正比的,所以是不公平的)

出于这种考虑,为了解决偏差问题,本文建立一个基于IPS(Inverse propensity weighting)的非偏估计机制(unbiased estimator)来估计文档的条件相关度,这种非偏估计机制可以根据有偏的点击,估计无偏的条件相关度。为了解决动态排序中的公平问题,本文采用了P-controller(proportional controller)的形式,动态地调整排序策略,使得之前曝光程度不够的文档能够得到更有效的曝光。该方法被证明可以在平均相关度估计收敛的情况下,使得不同组间曝光度-相关度比例的差距以一定的比例收敛到零。为了验证提出算法的鲁棒性和效果,作者分别在半生成的新闻数据集和真实的电影数据集上进行了实验验证。该算法不仅可以取得良好的排序效果和公平性,并且非常高效,容易实现。下图为本文提出算法和线性规划算法的比较。
实验结果图(左图排序算法表现,右图公平表现)

整理:上海交通大学 张伟楠副教授
博士生晋嘉睿、戴心仪

2. 最佳论文荣誉提名奖

   
论文:Models Versus Satisfaction: Towards a Better Understanding of Evaluation Metrics

论文地址:https://sigir-schedule.baai.ac.cn/poster/fp0128
 
这篇文章作者来自清华大学计算机系,作者包括张帆,毛佳昕,刘奕群,谢晓晖,马为之,张敏,马少平等人。
 
论文介绍:
 
搜索评价一直都是信息检索领域的一个核心问题,为了使评价的结果更符合用户的真实体验,现有的搜索离线评价指标在设计时都会基于一定的用户模型。因此,评价指标的有效性同时包括两个方面:

  • 评价指标背后的用户模型能否准确地拟合用户行为;
  • 评价指标的评价分数能否有效地衡量用户满意度。
基于用户模型的评价指标的两个方面 [Wicaksono and Moffat, 2020][1]

然而,现有工作很少去探究评价指标在这两方面表现的一致性。为了对基于用户模型的评价指标有更深入的理解,我们在本文中对评价指标进行了更细致的探究。
 
通过在一个公开数据集[2]和我们收集的数据集[3]上的实验,我们验证了基于用户模型的评价指标在拟合用户行为和衡量用户满意度两方面的一致性,基于用户点击行为校准的评价指标与基于用户满意度校准的评价指标的表现是非常接近的。此外,我们也验证了评价指标参数的可靠性,相比用户满意度,利用用户行为拟合评价指标得到的参数更加稳定,受训练数据采样的影响较小。最后,我们对训练数据规模进行了探究,利用小规模的用户行为数据对评价指标进行校准,已经能够使评价指标在衡量用户满意度上取得较好的效果。

我们的实验结果为现有的“基于用户行为日志拟合评价指标参数”这一方法论提供了经验依据。用户满意度反馈在实际搜索中难以收集,而我们通过用户行为日志对评价指标的参数进行拟合,得到的评价指标能够很好地对用户使用搜索系统的满意度进行衡量。

整理:清华大学 张帆

3. 最佳短论文提名奖 

论文:Bundle Recommendation with Graph Convolutional Networks

论文地址:https://sigir-schedule.baai.ac.cn/poster/sp0017
 
本文来自于清华大学电子系金德鹏教授与李勇副教授的研究团队,第一作者和第二作者分别为团队中的硕士生常健新与博士生高宸。中国科学技术大学何向南教授参与了该论文的合作和指导。
 
论文介绍:
物品组合是在功能或属性上相似或互补的多个物品,用于同时满足用户在某个场景下的复杂需求。目前,物品组合在电子商务和各类内容平台上日益流行,使得物品组合推荐变成一项重要个性化推荐任务。
 
该论文提出了一个基于图卷积神经网络的物品组合推荐方法,解决了物品组合推荐面临的挑战以及现有工作的诸多局限性。具体而言,该方法将用户、物品、物品组合三者统一为异构图,以此显式地建模用户与物品组合/单一物品的交互关系、以及物品组合与单一商品的从属关系。在此异构图上,提出单物品级别与物品组合级别的图卷积网络层,分别捕获单一物品交互数据和物品组合交互数据中的协同过滤信号,同时也刻画了物品组合蕴含的替代性、互补性等语义信息以及物品组合之间的相似性。
 
进一步地,考虑到用户在选择物品组合时与选择单一物品时的不同动机,该方法提出了一种基于难负样本的采样学习方法,通过在训练过程中构建难负样本,以学习用户、单个物品、物品组合的细粒度特征。
 
总而言之,该方法利用图神经网络从复杂的图结构中学习了用户、物品、物品组合的高阶连通性,解决了已有方法仅能提取简单协同过滤信号的关键缺陷。该论文在多个真实数据集进行了广泛的实验,提出的方法在多项推荐精准度指标上达到了state-of-the-art,同时该方法在应对数据稀疏性等问题上亦取得优异表现。

整理:清华大学 常健新

4. 最佳短论文奖 

 论文:Few-Shot Generative Conversational Query Rewriting

论文地址:https://sigir-schedule.baai.ac.cn/poster/sp0142
 
本文由来自清华大学师生与Microsoft Research AI学者合作完成。第一作者是清华大学计算机系大三本科生于是同学。本文由清华大学刘知远Microsoft Research AI高级研究员熊辰炎共同指导。
 
论文介绍:
现代信息检索需要精准理解用户查询意图,提升用户查询体验。近年来,对话式检索由于能够更好地捕捉用户意图,得到研究者越来越多的关注。在对话场景中,用户提出的查询问题是人机交互的重要方式,然而由于用户在对话中做出的原始查询缺少上下文语境,现有的信息检索系统无法直接进行有效搜索。
 
解决该问题的思路是,构建自动的查询改写系统,根据人机对话历史信息,将用户查询改写成信息检索系统能够有效处理的标准化查询。基于这种思路,本论文提出了一种小样本学习方法,能够有效提升对话式检索中的查询重写效果。具体地,分别采取基于规则和自我监督学习的方式生成弱监督数据,用于微调预训练模型GPT-2增强对于用户问题的理解和改写能力。
 
该模型在对话式检索任务TREC Conversational Assistance Track 2019中,与当前最好的问题改写模型相比准确率提高了12%。在无标注语料训练场景中,该模型准确率仍与TREC CAsT 2019最好的模型效果相当。这些实验表明,所提出的方法能够有效捕捉对话上下文信息,从而帮助提升对话式检索的效果。
 
整理:清华大学 于是

5. Test of Time Award           

论文:Learning to Recommend with Social Trust Ensemble

论文地址:https://dl.acm.org/doi/10.1145/1571941.1571978
 
本文作者:Hao Ma,Irwin King,Michael R. Lyu,来自香港中文大学。
 
论文介绍:
 
推荐系统作为信息过滤领域不可缺少的技术,近年来在学术界和工业界得到了广泛的研究和发展。然而,目前大多数的推荐系统都存在如下问题:(1)用户项矩阵数据量大且稀疏,严重影响了推荐质量。因此,大多数推荐系统都无法有效处理使用频次较少的用户。(2) 传统的推荐系统假设所有的用户都是独立、分布一致的,而忽略了用户之间的联系,这与现实世界中的推荐是不一致的。
 
为了更准确、真实地对推荐系统进行建模,作者提出了一种新的概率因子分析框架,将用户的喜好和他们所信任朋友的偏好自然地融合在一起。在这个框架中,创造了社会信任集合(Social Trust Ensemble)这一术语,来表达社会信任对推荐系统的限制。
 
复杂度分析表明,作者的方法可以适用于非常大的数据集,因为它与观测值的数量成线性关系,而实验结果表明改方法比现有其他方法有更好的性能。
 
整理:智源社区 常政

6. Test of Time Award Honorable Mention I

论文:A User Browsing Model to Predict Search Engine Click Data from Past Observations

论文地址:https://dl.acm.org/doi/10.1145/1390334.1390392
 
本文作者:Georges Dupret,Benjamin Piwowarski。两位作者都来自雅虎研究院。
 
论文介绍:
 
搜索引擎点击日志提供了宝贵的相关信息来源,但这些信息是有偏差的,因为忽略了用户点击前后在结果列表中实际看到的文档;否则完全可以通过简单的计数来估计文档的相关性。
 
本文提出了一组关于用户浏览行为的假设,这些假设使得能够估计文档被看到的概率,从而提供文档相关性的无偏估计。为了训练、测试和比较模型与文献中描述的其他最佳替代方案,作者收集了大量真实数据,并进行了广泛的交叉验证实验。结果显示,其解决方案性能远远优于以前的模型。
 
伴随而来的其他好处是,可以深入了解用户的浏览行为,并将其与Joachims等人[4]的眼动实验的结论进行比较。特别是,作者的发现证实了用户几乎总是在点击文档后立即浏览该文档,而且还解释了为什么位于非常相关的文档之后的内容会被更频繁地点击。
 
整理:智源社区 贾伟

7. Test of Time Award Honorable Mention II

  
论文:Selecting Good Expansion Terms for Pseudo-Relevance Feedback

论文地址:https://dl.acm.org/doi/10.1145/1390334.1390377

本文作者:Guihong Cao,Jian-Yun Nie,Jianfeng Gao(高剑峰),Stephen Robertson。作者分别来自加拿大蒙特利尔大学、美国雷德蒙德微软研究院和英国剑桥微软研究院。
 
论文介绍:
 
伪相关性反馈(Pseudo-relevance feedback)假设,在伪反馈文档(pseudo-feedback documents)中最频繁的术语对检索是有用的。
 
在这项研究中,作者重新检验了这一假设,结果证明这个假设并不成立,传统方法中确定的许多扩展术语事实上与查询是无关的,且对检索有害。
 
研究还表明,仅根据反馈文档和整个集合中的分布,不能将良好的和不良的扩展术语区分开来。作者建议整合一个术语分类过程(term classification process),从而来预测扩展术语的有用性,可以在这个过程中集成多个其他功能。
 
作者对三个TREC集合的实验表明,使用术语分类可以大大提高检索效率。此外还表明,好的术语,应当能够根据它们可能会对检索效率产生的影响直接识别出来,换句话说,使用监督学习而不是无监督学习
 
整理:智源社区 贾伟

参考文献:

[1] Wicaksono A F, Moffat A. Metrics, User Models, and Satisfaction[C]//Proceedings of the 13th International Conference on Web Search and Data Mining. 2020: 654-662.
[2] Chen Y, Zhou K, Liu Y, et al. Meta-evaluation of online and offline web search evaluation metrics[C]// Proceedings of the 40th international ACM SIGIR conference on research and development in information retrieval. 2017: 15-24.
[3] http://www.thuir.cn/tiangong-ss-fsd/
[4] T. Joachims, L. Granka, B. Pan, H. Hembrooke, F. Radlinski, and G. Gay. Evaluating the accuracy of implicit feedback from clicks and query reformulations in web search. ACM Transactions on Information Systems (TOIS), 25(2), 2007.

附:SIGIR近5年最佳论文

 
2019 | Variance Reduction in Gradient Exploration for Online Learning to Rank
作者:Huazheng Wang,Sonwoo Kim,Eric McCord-Snook,Qingyun Wu,Hongning Wang
链接:https://dl.acm.org/citation.cfm?id=3331264
 
2018 | Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems
作者:Rocío Cañamares,Pablo Castells
链接:https://dl.acm.org/citation.cfm?id=3210014
 
2017 | BitFunnel: Revisiting Signatures for Search
作者:Bob Goodwin,Michael Hopcroft,Dan Luu,Alex Clemmer,Mihaela Curmei,Sameh Elnikety,Yuxiong He
链接:https://dl.acm.org/citation.cfm?doid=3077136.3080789
 
2016 | Understanding Information Need: an fMRI Study
作者:Yashar Moshfeghi,Peter Triantafillou,Frank E. Pollick
链接:http://dx.doi.org/10.1145/2911451.2911534
 
2015 | QuickScorer: A Fast Algorithm to Rank Documents with Additive Ensembles of Regression Trees
作者:Claudio Lucchese,Franco Maria Nardini,Salvatore Orlando,Raffaele Perego,Nicola Tonellotto,Rossano Venturini
链接:http://dx.doi.org/10.1145/2766462.2767733

编辑:智源社区 王炜强
智源研究院
智源研究院

北京智源人工智能研究院(BAAI)是致力于推动人工智能基础研究、技术创新和产业发展的新型研发机构,由北京人工智能领域优势单位联合发起成立。

https://www.baai.ac.cn/
理论SIGIR 2020清华
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
刘知远人物

刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011 年获得清华大学博士学位,已在 ACL、IJCAI、AAAI 等人工智能领域的著名国际期刊和会议发表相关论文 60 余篇,Google Scholar 统计引用超过 2100 次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖,入选中国科学青年人才托举工程、CCF-Intel 青年学者提升计划。担任中文信息学会青年工作委员会执委、副主任,中文信息学会社会媒体处理专委会委员、秘书,SCI 期刊 Frontiers of Computer Science 青年编委,ACL、COLING、IJCNLP 领域主席。

排序算法技术

排序算法是将一串数据依照特定排序方式进行排列的算法,最常用到的排序方式是数值顺序以及字典顺序。基本上,排序算法的输出必须遵守下列两个原则:输出结果为递增序列(递增是针对所需的排序顺序而言);输出结果是原输入的一种排列、或是重组。

信息检索技术

信息检索(IR)是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

协同过滤技术

协同过滤(英语:Collaborative Filtering),简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息,个人通过合作的机制给予信息相当程度的回应(如评分)并记录下来以达到过滤的目的进而帮助别人筛选信息,回应不一定局限于特别感兴趣的,特别不感兴趣信息的纪录也相当重要。协同过滤又可分为评比(rating)或者群体过滤(social filtering)。其后成为电子商务当中很重要的一环,即根据某顾客以往的购买行为以及从具有相似购买行为的顾客群的购买行为去推荐这个顾客其“可能喜欢的品项”,也就是借由社区的喜好提供个人化的信息、商品等的推荐服务。除了推荐之外,近年来也发展出数学运算让系统自动计算喜好的强弱进而去芜存菁使得过滤的内容更有依据,也许不是百分之百完全准确,但由于加入了强弱的评比让这个概念的应用更为广泛,除了电子商务之外尚有信息检索领域、网络个人影音柜、个人书架等的应用等。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

线性规划技术

在数学中,线性规划(Linear Programming,简称LP)特指目标函数和约束条件皆为线性的最优化问题。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

交叉验证技术

交叉验证,有时亦称循环估计, 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析, 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证的目标是定义一个数据集到“测试”的模型在训练阶段,以便减少像过拟合的问题,得到该模型将如何衍生到一个独立的数据集的提示。

因子分析技术

因子分析在统计学中是一种常用的降维方法,目的在于用更少的、未观测到的变量(factor)描述观测到的、相关的变量。更准确的来说,因子分析假设在观测到的变量间存在某种相关关系,从观测变量的矩阵内部相关关系出发找到潜变量(latent variables)从而使得潜变量和观测变量之间的关系成立

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

Jianfeng Gao人物

微软研究院人工智能深度学习组合作研究经理、IEEE Fellow,研究兴趣主要为自然语言处理、强化学习等。

图卷积网络技术

假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理啊,颜色啊,或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别。而深度学习是输入一张图,经过神经网络,直接输出一个标签。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习。相较于传统的方法,深度学习能够学习到更高效的特征与模式。

小样本学习技术

人类非常擅长通过极少量的样本识别一个新物体,比如小孩子只需要书中的一些图片就可以认识什么是“斑马”,什么是“犀牛”。在人类的快速学习能力的启发下,研究人员希望机器学习模型在学习了一定类别的大量数据后,对于新的类别,只需要少量的样本就能快速学习,这就是 Few-shot Learning 要解决的问题。

暂无评论
暂无评论~