Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

大模型研究获最佳论文,WWW 2024奖项出炉

本次公布的获奖论文中,有多位华人作者。

The Web Conference(前身为 International World Wide Web Conference,WWW)会议是万维网领域的顶会,由图灵奖得主 Tim 创办,被中国计算机协会将其认证为 CCF-A 类会议,每年举办一次。

目前大会公布了最佳学生论文奖、最佳论文奖以及时间检验奖。

图片

最佳论文奖

WWW 2024 最佳论文颁给了和大模型相关的研究。

图片

  • 标题:Mechanism Design for Large Language Models

  • 论文地址:https://arxiv.org/pdf/2310.10826

  • 作者:Paul Dütting、Vahab Mirrokni、Renato Paes Leme、Haifeng Xu、Song Zuo

  • 机构:Google Research、芝加哥大学

这篇论文作者共有 5 位,包括两位华人。

Haifeng Xu 是芝加哥大学助理教授,并领导了 Sigma 实验室。在此之前,Haifeng Xu 在哈佛大学做过博士后,导师是 Yiling Chen 和 David Parkes,在南加州大学(USC)获得了计算机科学博士学位,导师是 Shaddin Dughmi 和 Milind Tambe(现任哈佛大学教授)。

图片

                            图源:https://twitter.com/DSI_UChicago/status/1790839792906944650

Song Zuo 现在是谷歌研究科学家,此前,他在清华大学获得博士学位,本科毕业于清华姚班,主要研究方向为拍卖与机制设计,经济学与计算。

图片

本文研究了拍卖机制(auction mechanisms),以支持人工智能生成内容的新兴格式。他们特别研究了如何以激励相容的方式聚合多个大型语言模型(LLM)。在这个问题中,每个智能体对随机生成内容的偏好被描述 / 编码为一个 LLM。这项研究的一个关键动机是设计一种 AI 生成广告创意的拍卖格式,以结合不同广告商的输入。研究者认为,尽管这个问题总体上属于机制设计的范畴,但它具有几个独特的特征。

本文提出了一种通用形式 ——  token auction 模型来进行研究。该模型的一个关键特征是,它以 token 为单位进行操作,并允许 LLM 智能体通过单维度出价的方式来影响生成的内容。

本文首先探索了一种稳健的拍卖设计方法,在这种方法中,本文假设智能体偏好比结果分布更具有部分顺序。他们提出了两种自然的激励属性,并证明这些属性等同于分布聚合的单调性条件。本文还证明,对于这种聚合函数,即使在没有竞标者估值函数的情况下,也可以设计出第二价格拍卖(second-price auction)。接下来,本文通过聚焦于基于 KL 散度(LLM 中常用的损失函数)的具体估值形式,设计了具体的聚合函数。结果表明,福利最大化(welfare-maximizing)的聚合规则是所有参与者目标分布的加权(对数空间)凸组合。最后,本文通过实验结果支持了 token 拍卖的形式化。

图片

                           两个不同的聚合函数生成的文本

最佳学生论文奖

来自爱丁堡大学的研究者摘得了本届最佳学生论文奖。

图片

  • 标题:Stable-Sketch: A Versatile Sketch for Accurate, Fast, Web-Scale Data Stream Processing

  • 论文地址:https://homepages.inf.ed.ac.uk/ppatras/pub/webconf24.pdf

  • 作者:Weihe Li、Paul Patras

  • 机构:爱丁堡大学

论文摘要:数据流处理在各种与网络相关的应用中起着关键作用,包括点击欺诈检测、异常识别和推荐系统。然而,在数据流中准确快速地检测与这些任务相关的项目(如热门项目、重大变化项目和持久项目)并非易事。这是由于当前系统中不断增加的流速、有限的快速内存(L1 缓存)以及实际遇到的高度偏斜的项目分布。

本文引入了 bucket 稳定性的概念,它量化了记录项目变化的程度,并证明这是识别不同项目类型的强大指标。

在此基础上,本文提出了 Stable-Sketch,它利用了多维信息,包括项目统计和 bucket 稳定性,并采用随机方法来驱动替换决策。研究者对 Stable-Sketch 的误差范围进行了理论分析,并进行了大量实验,证明本文的解决方案在各种项目检测任务中,即使在内存紧张的情况下,也能实现更高的准确性和更快的处理速度。

首尔时间检验奖(Seoul Test of Time Award)

来自斯坦福大学的 Taher H Haveliwala 获得了时间检验奖。

图片

  • 标题:Topic-Sensitive PageRank

  • 论文地址:http://www-cs-students.stanford.edu/~taherh/papers/topic-sensitive-pagerank.pdf

  • 作者:Taher H Haveliwala

  • 机构:斯坦福大学

在原始的 PageRank 算法中,通过计算一个单一的 PageRank 向量,并利用网页的链接结构来捕捉网页的相对重要性,然而这一过程与任何特定的搜索查询无关。

为了产生更准确的搜索结果,本文建议计算一组 PageRank 向量,从而使用一组具有代表性主题的偏置向量,以更准确地捕获特定主题的重要概念。通过使用这些(预先计算的)偏置的 PageRank 向量,本文展示了这种方法可以比使用单一的通用 PageRank 向量生成更准确的排名。

参考链接:https://www2024.thewebconf.org/program/awards/

产业The Web Conference
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

http://www.tsinghua.edu.cn/
相关技术
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~