Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

杜伟、陈萍编辑

KDD 2023奖项出炉:港中文、港科大等获最佳论文奖,GNN大牛Leskovec获创新奖

KDD 2023 公布了最佳论文奖、博士论文奖、创新奖、时间检验奖等多个奖项。

ACM SIGKDD(国际数据挖掘与知识发现大会,KDD) 会议始于 1989 年,是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议,也是首个引入大数据、数据科学、预测分析、众包等概念的会议。

今年的 KDD 大会是第 29 届,于 8 月 6 日 - 10 日在美国加州长滩举办。大会包含研究方向(Research )和应用数据科学方向 (Applied Data Science,ADS)两个 track。


随着会议的进行,各大奖项也开始逐一揭晓。其中来自香港中文大学、香港科技大学(广州)、东南大学同济大学的研究者获得了研究方向最佳论文奖;来自谷歌的研究者获得了应用数据科学方向最佳论文奖;斯坦福大学(于今年 1 月获得学位)博士 Weihua Hu 获得杰出博士论文奖;创新奖颁给了斯坦福大学计算机科学学院教授 Jure Leskovec;不列颠哥伦比亚大学的四位研究者获得了本次大会的时间检验奖。

KDD 最佳论文奖 — 研究方向

来自香港中文大学的孙相国博士、程鸿教授、香港科技大学(广州)的李佳教授、东南大学的刘波教授以及同济大学的关佶红教授获得了最佳论文奖。获奖论文为《All in One: Multi-task Prompting for Graph Neural Networks》。

李佳教授获得最佳论文奖(研究方向)。

论文地址:https://arxiv.org/pdf/2307.01504.pdf

论文介绍:最近,预训练和微调范式已成为许多图任务的标准工作流程,因为这些方法可以利用通用的图知识来缓解每个应用中图注释的缺乏。然而,具有节点级、边缘级和图级的图任务千差万别,使得预训练的前提往往与多个任务不兼容。这种差距甚至可能导致对特定应用程序的「负迁移」,从而使得效果不佳。

受到自然语言处理(NLP)中 prompt 学习的启发,因而,本文研究了在图领域中关于 prompting 的主题,旨在弥合预训练模型与各种图任务之间的差距。本文提出了一种新颖的用于图模型的多任务 prompting 方法。

具体来说,该研究首先通过 prompt token、token 结构和嵌入模式统一了图 prompt 和语言 prompt 的格式。通过这种方式,可以将 NLP 中的 prompting 思想无缝地引入到图领域。然后,为了进一步缩小各种图任务与最先进的预训练策略之间的差距,该研究进一步研究了各种图应用的任务空间,并将下游问题重新表述为图级任务。随后,他们引入元学习,以有效地学习更好的图多任务 prompt 初始化,从而使 prompting 框架在不同任务之间更可靠且更通用。本文还进行了大量实验来证明所提方法的优越性。

图 1 为微调、预训练以及 prompting 流程;图 2 为受 NLP 领域中 prompt 启发,得到的图 prompt:


KDD 最佳论文奖 — 应用数据科学方向

SIGKDD 2023 应用数据科学方向最佳论文奖颁给了谷歌的研究者。其中华人学者包括高级软件工程师 Jiaxi Tang 、软件工程师 Li Wei 、高级软件工程师 Xinyang Yi、 软件工程高级总监 Lichan Hong 以及杰出科学家 Ed H. Chi 。

图源:https://twitter.com/madiator/status/1688716588491608064

论文地址:https://arxiv.org/pdf/2302.09178.pdf

论文介绍:推荐系统在许多内容平台中扮演着重要的角色。虽然大多数关于推荐系统的研究都致力于设计更好的模型来改善用户体验,但研究发现让这些模型训练更加稳定的研究严重不足。

随着推荐模型变得越来越庞大和复杂,因而更容易受到训练不稳定性问题的影响,例如损失发散,这可能使模型无法使用,浪费大量资源,并阻碍模型的发展。

在本文中,研究者指出了导致模型训练不稳定的一些特性,并对其原因进行了推测。更进一步的,基于对训练不稳定点附近训练动态的观察,研究者假设了现有解决方案失败的原因,并提出了一种新的算法来减轻现有解决方案的局限性。

研究者在数据集上进行的实验表明,与几种常用的基准方法相比,本文所提出的算法可以显著提高模型的训练稳定性,同时不损害收敛性。

KDD 最佳学生论文奖 — 研究方向

本次获得最佳学生论文奖的是来自蒙纳士大学、澳大利亚国立大学等机构的研究者。


论文地址:https://arxiv.org/pdf/2209.13446.pdf

论文介绍:本文提出了一个基于特征的学习框架,可有效处理反事实约束,并为有限的私有解释模型做出了贡献。本文在生成行动可行性和合理性的多样性反事实方面,展示了所提方法的灵活性和有效性。

KDD 杰出博士论文奖

KDD 2023 杰出博士论文奖授予了斯坦福大学(于今年 1 月获得学位)博士 Weihua Hu 的论文《On the Predictive Power of Graph Neural Networks》。

推特 @weihua916

我们先简单介绍一下 Weihua Hu。他先后于 2016 年和 2018 年获得了东京大学的数学工程学士学位和计算机科学硕士学位。之后进入斯坦福大学攻读计算机科学博士学位,其导师为 Jure Leskovec(也是 KDD 2023 创新奖获得者)。

博士期间,Weihua Hu 创建了图结构数据的机器学习理论、方法和基准,旨在改进现实世界的多样化应用,比如推荐系统、药物或材料发现、天气预测。他还乐于应用(图)机器学习来解决现实世界有趣和重要的问题。

目前,Weihua Hu 在初创公司 Kumo.ai 工作,致力于将 GNN 投入生产,尤其重视使用 GNN 来回答现代关系数据库上各种各样的未来预测查询


个人主页:https://weihua916.github.io/

Weihua Hu 的博士论文旨在通过理解、改进 GNN 的预测能力并进行基准测试,来构建强大的预测性 GNN。这里的预测能力是 GNN 对图做出准确预测的能力。论文分以下三个部分展开。

第一部分开发了一个用于理解 GNN 预测能力的理论框架,尤其关注表达能力,观察 GNN 是否可以在图上表达所需的函数。第二部分是在有了用于设计表达性 GNN 模型的框架之后, 进一步提升模型在未见过或未标注数据上的预测能力,也即是提升 GNN 的泛化性能。第三部分创建一个新的图基准数据集来解决现有基准的问题,并让社区参与进来共同提升 GNN 的预测能力。


论文详细内容请参阅:https://searchworks.stanford.edu/view/14423818

KDD 杰出博士论文奖(亚军)

今年还评选出了两篇杰出博士论文奖(亚军),第一篇是《Characterization and detection of disinformation spreading in online social networks》,作者为 Francesco Pierri,他现在是米兰理工大学的一名助理教授。

推特 @frapi9

论文地址:https://www.politesi.polimi.it/handle/10589/188756

另一篇获此奖项的论文题目是《Efficient and Secure Message Passing forMachine Learning》,作者是北卡罗来纳州立大学助理教授 Xiaorui Liu。

推特 @liu_xiaorui

论文地址:https://www.proquest.com/openview/38629046ef91d5deea1a63265175abc0/1?pq-origsite=gscholar&cbl=18750&diss=y

KDD 创新奖

KDD 创新奖旨在表彰对数据发现与数据挖掘领域做出杰出贡献,并促进理论和商业系统发展的研究者。

KDD 2023 创新奖颁给了图网络领域的大牛、斯坦福大学计算机科学学院教授 Jure Leskovec。他也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。此次获奖是为表彰他对图挖掘、网络和应用机器学习的根本性和里程碑式贡献。

推特 @fredayala

Jure Leskovec 的研究领域为大规模互连系统的应用机器学习,并专注于为所有尺度的系统建模复杂、标签丰富的关系结构、图和网络,涉及领域可以从细胞中的蛋白质相互作用到社会中的人类交互。研究应用则包括了常识推理推荐系统、计算社会科学以及以药物发现为重点的计算生物学。

迄今为止,Jure Leskovec 参与的论文在谷歌学术上的引用次数将近 10 万。


谷歌学术主页:https://cs.stanford.edu/people/jure/

机器之心此前报道过的与 Jure Leskovec 相关的文章:

2021 斯坦福图机器学习课程 CS224W 开课了,Jure Leskovec 主讲

KDD 时间检验奖—研究方向

来自不列颠哥伦比亚大学的四位研究者获得了本次大会的时间检验奖。这篇论文发表于 2012 年,在 Google Scholar 上的引用量是 1792。

推特 @Frank Hutter

论文地址:https://arxiv.org/pdf/1208.3719.pdf

论文介绍:目前,研究者已经开发出了许多不同的机器学习算法,考虑到每个算法的超参数非常多,因而会出现很多可替代方案。本文的做法是选择学习算法的同时并设置其超参数,从而超越了先前只解决单个问题的研究。

本文考虑了一系列广泛的特征选择技术,以及 WEKA 中实现的所有分类方法,涵盖 2 种集成方法、10 种元方法、27 种基准分类器,以及每个分类器的超参数设置。在 UCI 中的 21 个常用数据集、KDD Cup 09、MNIST 数据集变体和 CIFAR-10 数据集的每个数据集上,该研究展示了本文方法比使用标准的选择 / 超参数优化方法要好得多。该研究希望他们所提出的方法能够帮助非专业用户更有效地识别适用于其应用的机器学习算法和超参数设置,从而实现性能改进。

KDD 时间检验奖—应用数据科学方向

另一篇时间检验奖颁给了论文《Ad Click Prediction: a View from the Trenches》,来自谷歌,被引用次数为 1030。




论文地址:https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/41159.pdf


论文介绍:预测广告点击率(CTR)是一个与数十亿美元规模的在线广告行业密切相关的大规模学习问题。本文在一个部署的CTR预测系统环境中,展示了一些选定的案例研究和主题,这些案例研究和主题源自最近的实验。


最后,KDD 还颁布了杰出服务奖,旨在表彰在知识发现和数据挖掘领域做出杰出专业服务贡献的个人或团体。本届大会颁给了熊辉(Hui Xiong)教授。


参考链接:https://kdd.org/kdd2023/awards/

理论杰出论文奖KDD
相关数据
李佳人物

李佳,此前曾任谷歌云机器学习/人工智能研发负责人(Head of R&D, AI/ML, Senior Director at Cloud,Google)。本科毕业于中国科大自动化系。新加坡南洋理工大学硕士。在伊利诺伊大学香槟分校、普林斯顿大学与斯坦福大学跟随李飞飞从事计算机视觉研究。2011 年获斯坦福大学计算机科学博士。曾在谷歌实习,2011 年加入雅虎,2014 年成为雅虎资深研究员,开始领导雅虎实验室的视觉计算和机器学习部门。2015 年 2 月,Snapchat 聘请李佳担任公司研发主管。2016 年加入谷歌。2018年11月从谷歌离职,全职参与斯坦福医学院智能医院项目。

相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

超参数优化技术

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

元学习技术

元学习是机器学习的一个子领域,是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是,我们如果想使智能体掌握多种技能、适应多种环境,则不应该从头开始在每一个环境中训练每一项技能,而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务,因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法,又叫元学习(meta-learning),是通往可持续学习多项新任务的多面智能体的必经之路。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

集成方法技术

在统计学和机器学习中,集成方法使用多种学习算法来获得比单独使用任何组成学习算法更好的预测性能。

关系数据库技术

关系数据库,是创建在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。关系模型是由埃德加·科德于1970年首先提出的,并配合“科德十二定律”。现如今虽然对此模型有一些批评意见,但它还是数据存储的传统标准。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

特征选择技术

在机器学习和统计学中,特征选择(英语:feature selection)也被称为变量选择、属性选择或变量子集选择。 它是指:为了构建模型而选择相关特征(即属性、指标)子集的过程。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
图网络技术

2018年6月,由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》,该研究提出了一个基于关系归纳偏置的 AI 概念:图网络(Graph Networks)。研究人员称,该方法推广并扩展了各种神经网络方法,并为操作结构化知识和生成结构化行为提供了新的思路。

常识推理技术

常识推理是人工智能(AI)的一个分支,它关注模拟人类每天遇到的普通情境的类型和本质的假设。这些假设包括对人和物体的物理特性,目的,意图和行为的判断,以及他们的行为和相互作用的可能结果。展示常识推理的设备将能够预测结果并得出类似于人类民间心理学(人类对人们的行为和意图进行推理的天生能力)和天真物理学(人类对物理世界的自然理解)的结论。

药物发现技术

在医学,生物技术和药理学领域,药物发现是发现新候选药物的过程。

负迁移技术

负迁移一般是指一种学习对另一种学习起干扰或抑制作用。负迁移通常表现为一种学习使另一种学习所需的学习时间或所需的练习次数增加或阻碍另一种学习的顺利进行以及知识的正确掌握。

东南大学机构
同济大学机构
推荐文章
暂无评论
暂无评论~