一鸣、杜伟原创

华人主导,首届国际分布式AI大会开幕,最佳论文奖已出炉

首届华人学者主导的国际分布式 AI 大会近日在北京召开。本届大会主要关注强化学习,特别是多智能体问题的研究以及在工业领域的应用。本次大会的最佳论文是关于多智能体合作的研究,作者来自天津大学和华盛顿州大学。大会还邀请到了包括在内的姚期智、Victor Lesser、刘铁岩、Noam Brown、田渊栋等专家进行主题演讲。

近年来,随着人工智能研究的逐步深入,针对多智能体系统的研究逐渐成为强化学习的一个重要研究方向。在这一领域,研究者重点关注的问题是:决策不再由中心,而是自治的分布式多智能体决定。

因此,分布式人工智能(Distributed Artificial Intelligence)研究应运而生。而随着我国分布式人工智能的研究群体日益壮大,在工业界的应用越来越频繁,国内学术界迫切希望举办一个新的会议,成为国内分布式人工智能的高水平交流平台。2019 年 10 月 13 日至 15 日,第一届国际分布式 AI 大会在北京召开。这是首届华人带头的国际分布式 AI 学术会议。在本届大会上,参会嘉宾和学者们重点讨论了多智能体强化学习,以及这些研究在工业界的应用。此外,大会还邀请到了 AAAI、IJCAI、ACL、NeuralPS 大会部分接收论文作者,介绍和强化学习结合的工作。

大会情况

此次会议由多位华人学者以及国际知名学者共同发起,其中,南洋理工大学安波(大会共同主席)、清华大学唐平中(程序委员会共同主席)、南京大学高阳(研讨会主席)、MSRA 秦涛(工业论坛主席)、南京大学俞扬(赞助主席)、天津大学郝建业(宣传主席)都在组织者之列,会议共同主席之一 Michael Wooldridge 是牛津大学计算机系主任、IJCAI 理事会前主席。图灵奖得主姚期智院士任大会名誉主席。

本届大会共有多场演讲和报告,包括姚期智、Victor Lesser、刘铁岩的主旨演讲,以及 Noam Brown、田渊栋的专题演讲等。此外还有多篇论文的作者发表口头演讲。作为首届由华人发起和主导的分布式 AI 会议,参会人数众多,讨论非常热烈。据统计,本次共有 13 篇接收论文(长论文 11 篇、短论文 13 篇)。

大会荣誉主席、图灵奖得主、清华大学教授姚期智院士做主题演讲。

本次大会共分为三天,首日是多场 Tutorial 活动,后两日则是主题演讲和论文口头报告时间。此外,大会在周一晚上宣布了最佳论文和荣誉提名论文。本文将介绍获奖论文的核心内容。

获奖情况

本届 DAI 大会宣布了最佳论文奖与最佳论文荣誉提名奖项。

最佳论文

本届 DAI 大会最佳论文由 Weixun Wang、Jianye Hao、Yixi Wang、Matthew E. Taylor 几位作者共同摘得。其中 Weixun Wang、Jianye Hao、Yixi Wang 来自天津大学,Matthew E. Taylor 来自华盛顿州大学。

论文一作 Weixun Wang 对机器之心表示,这篇论文是一个多智能体交互的问题。考虑到真实世界更多的是一个多智能体问题,采用传统的「感知」方法是不够的,需要多智能体研究来更好地模拟真实情况。

  • 标题:Achieving Cooperation Through Deep Multiagent Reinforcement Learning in Sequential Prisoner』s Dilemmas

  • 作者:Weixun Wang, Jianye Hao, Yixi Wang, Matthew E. Taylor

  • 论文地址:http://www.adai.ai/dai/paper/29.pdf

迭代囚徒困境已经指导了社会困境问题方面的研究多年。然而,这一问题只分成了两种原子行为:合作和对抗。在真实世界的囚徒困境中,这些选择可能会有所延伸,而且不同的策略可能会带来一连串连锁反应,从而影响合作的程度。在本文中,研究者提出了一种名为序列囚徒困境(SPD)的问题,以便更好地捕捉前述特征。

在研究中,研究者提出了一个深度多智能体强化学习方法,可以探索在 SPD 问题中相互合作的演变过程。研究者的方法分为两步:第一步是线下过程,通过不同的合作级别整合策略,然后训练一个合作等级检测网络。第二步是在线过程,一个智能体基于检测到的对方的合作等级,逐渐调整并选择自身的策略。研究者认为,他们提出的方法可以在两个有代表性的二维 SPD 问题中展示:「苹果-梨」问题和「水果收集」问题。实验结果说明,研究提出的方法可以让智能体避免被具有掠夺性的对手剥削,同时和有合作意向的对手达成合作。

图 1:合作程度检测网络

图 4:在不同合作级别下,智能体获得的平均以及总奖励。合作程度从智能体 1 到智能体 2 分别为从左到右或从下到上逐渐提升。每个 cell 对应在不同策略对下的奖励。

最佳论文荣誉提名

本届 DAI 大会最佳论文荣誉提名授予了谷歌研究院(Google Research)的 Song Zuo,他从线性规划的新颖视角解读了迈尔森的最优拍卖理论。

最优拍卖理论是由迈尔森(Myerson)于 1981 年提出的,该理论力图解决在给定信息分布的情况下,如何设计出某种制度来最大限度地激励经济活动的参与人,也就是最优合同的设计问题。

他们通过线性规划和原始对偶分析的角度重新分析了迈尔森的最优拍卖理论。他们将该理论作为优势策略和贝叶斯实现的线性规划问题进行处理,从而引导读者从一个全新的视角来理解最优拍卖设计问题。

  • 标题:Rediscovery of Myerson's Auction via Primal-Dual Analysis

  • 作者:Song Zuo

  • 论文地址:http://www.adai.ai/dai/paper/36.pdf

在这篇论文中,研究者通过线性规划和原始对偶分析这两种完全不同的方法重新发现了迈尔森的最优拍卖理论。具体而言,他们考虑使用贝叶斯定理(贝叶斯激励相容+贝叶斯理性预期)和优势策略(优势策略激励相容+后理性预期),其中所有买家具有加法赋值和拟线性向量函数,并且所有估价的分布都在一个有限的支撑集中。当买家价值是单维和独立分布时,我们可以直接证明,贝叶斯实现线性规划的双目标仅仅是优势策略实现线性规划的双目标。换言之,贝叶斯和优势策略实现下的最优收益是相同的。根据观察结果,研究者通过将优势策略线性规划解释为熨平虚拟福利,并直接从中重新发现了迈尔森的最优拍卖理论。此外,研究者给出了 BIC=DSIC 的充分必要条件,即贝叶斯实现与优势策略实现的最优收益相同(BR_EV=DR_EV)。条件是当且仅当独立于虚拟价值函数的 DSIC 和后 IR 虚拟福利达到最大值时才能获得最优 DSIC 收益 DR-EV(一个买家的虚拟价值独立于其他买家的估价)。

作为首届国际分布式 AI 大会,DAI 2019 由华人和国际学者主导,彰显了华人力量在 AI 研究领域逐渐增强。近年来,随着中国的学术实力不断增强,越来越多的学术顶会移步中国。IJCAI2019 在澳门召开,EMNLP 也在今年花落香港。更多学术会议在中国举办,有助于国内外顶尖 AI 人才交流,未来会催生出跨学科多领域的融合研究成果。

理论姚期智首届国际分布式AI大会
3
相关数据
刘铁岩人物

刘铁岩博士毕业于清华大学电子工程系。现任微软亚洲研究院主任研究员,互联网经济与计算广告学研究组负责人。他是美国计算机学会(ACM)、国际电子电气工程师学会(IEEE)、和中国计算机学会(CCF)的高级会员。中国科技大学和南开大学的客座教授。

囚徒困境技术

囚徒困境(Prisoner's Dilemma)是博弈论的非零和博弈中具代表性的例子,反映個人最佳選擇並非团体最佳選擇。 或者说在一个群体中,个人做出理性选择却往往导致集体的非理性。

线性规划技术

在数学中,线性规划(Linear Programming,简称LP)特指目标函数和约束条件皆为线性的最优化问题。

多智能体系统技术

一个多智能体系统,是由一个在一个环境中交互的多个智能体组成的计算系统。多智能体系统也能被用在解决分离的智能体以及单层系统难以解决的问题。智能可以由一些方法,函数,过程,搜索算法或加强学习来实现。尽管存在相当大的重叠,然而一个多智能体系统并不总是一个基于智能体的模型表现一致。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

田渊栋人物

田渊栋,Facebook人工智能研究院智能围棋、星际争霸项目负责人。

暂无评论
暂无评论~