2021-2022 机器之心年度趋势报告 | 顶会观察：算法理论

本文是机器之心《2021-2022 年度 AI 技术趋势发展报告》中算法理论研究篇章关于理论的顶会观察，点击「机器之心2021-2022年度AI技术趋势报告 」，获取报告。

我们从 AAAI、NeurIPS、ICML、IJCAI 看AI算法理论发展趋势。通过观察人工智能国际顶会的参会情况、论文提交与接收情况和获奖论文情况，能够获得与近一年的人工智能领域基础理论相关的研究情况的信息。因此跟踪国际顶会是探索和捕获人工智能算法、理论研究趋势的有效方法之一。

技术趋势

1、机器学习仍然是投稿量和接收量最大的主题之一。在 2021 年主要的四个机器学习会议中，机器学习、计算机视觉、NLP 仍然是投稿量和接收量最大的几个主题。对于从事机器学习、人工智能相关领域研究的研究人员来说，对于研究论文题目或摘要中涉及“Machine Learning”、“Computer Vision”、“NLP”等会格外关注。不过，从几个会议最终接收的论文来看，直接用这些命名的论文接收率并不高，可能因为名称过于宽泛,反而不能够突出论文工作的重点。

2、随机、优化、博弈论等方法的引入成为尝试方向。引入随机方法、优化方法、博弈论、增强处理、蒸馏等技术的论文虽然总数不是特别多，但接收率在几大会议中普遍较高。这一方面说明，这几个技术是机器学习领域中的热门技术，越来越多的研究人员会在不同领域的机器学习方法中引入这些技术。另一方面也说明，这几项技术应用在机器学习领域中具有较好的效果，包括图像、视频、语音、对话生成、文本翻译等等。

3、Transformer仍是热点，GAN进入瓶颈期。Transformer、图结构、强化学习仍然是机器学习方法中重点采用的技术，在几大会议的最终接收的论文中，应用这几项技术的论文数量都比较多。但是，与GAN直接相关的论文数量与前几年相比大大减少，这也说明GAN在机器学习中的应用进入了瓶颈期。

4、解决样本问题的工作仍在推进。应对标注的高质量数据较少的问题的 少样本/弱样本/零样本学习相关文章的数量与前几年相比变化不大，说明聚焦于这一方向的研究人员仍在推进相关工作，并在不同领域中应用获得了不错的效果。但这一类方法并没有根本性的改进，所以也没有实现论文数量方面的大的改变。

5、多智能体的文章接受率高于单智能体。在关于智能体的论文中，最终接收的文章都以 multi-agent 为主，与单 agent 的方法不同，multi-agent 侧重于多个 agent 之间的规划调度问题，以及对智能体与智能体、智能体与环境之间的相互影响和作用(即适应性)的分析。

6、可解释性成为关注点。在几个会议中都有关于可解释性、伦理、偏见等的论文，可以看出，越来越多的研究人员开始关注这一类AI引发的社会问题。此外，越来越多的研究人员开始关注机器学习模型的可解释性问题,从简单的提高识别率、准确率逐渐提升到关注模型有效性背后真实原因的阶段。经历了努力利用黑盒机器学习模型改进不同领域中应用效果的阶段，现在的机器学习发展到了深入理解白盒模型机理的阶段。

会议总体情况

作为全球人工智能顶会之一，第三十五届 AAAI 人工智能会议 (AAAI 2021) 于2021年2月2日至9日以虚拟会议的形式召开。根据大会官方数据，本次会议共收到 9,034 篇论文，再创历史新高。在 7,911 篇参与评审的论文中，共接收 1,696篇，接收率为21.4%，略高于2020年的20.6%。

图 AAAI 历年接收率（2021年数据）

AAAI2021有两个technical track：主单元（Main Technical Track），共包括1388篇论文；人工智能促进社会影响（AI for Social Impact，AISI），共包括40篇论文。此外还有268篇FastTrack的文章。主单元聚焦三个议题：神经符号人工智能（Neuro-Symbolic AI）、人工智能应对COVID-19（AI Response to the COVID-19 Pandemic）和人工智能促进会议组织和交付（AI for Conference Organization and Delivery）。

图 AAAI 2021 接收率分析

第三十六届 AAAI 人工智能会议 (AAAI 2022) 于2022年2月22日至3月1日在线上召开。根据大会官方数据，AAAI 2022 Regular Track共收到 9251 篇投稿，其中 9020 篇投稿进入了评审环节。与AAAI 2021 9034篇投稿、7911篇评审论文的数量相比，AAAI 2022又创新高。然而，本次会议的接收率却创历史新低，共计接收1370篇论文，接收率为15.2%，远低于2021年的21.4%和2020年的20.6%。此外，Fast Track的接收率为26.9%。

图 AAAI 历年接收率（2022年数据）

AAAI 2022共包括两个Regular technical track，分别是：主单元（Main Technical Track）投稿论文8198篇，接收论文1161篇；人工智能促进社会影响（AI for Social Impact，AISI），投稿论文232篇，接收论文50篇。此外，Fast Track投稿论文590篇，接收159篇。

图 AAAI 2022 投稿和接收情况

AAAI 2022投稿数量最多的是中国，达到了4230篇，共接收478篇。排在第二位的是美国，投稿1479篇，接收283篇。

第35届神经信息处理系统大会（NeurIPS 2021) 于2021年12月6 日到2021年12月14日以虚拟会议的形式召开。根据大会官方数据，本届 NeurIPS共有9122篇论文提交，共接收2344篇（占比26%），其中3% 论文被接收为 Spotlight 。大会讨论的内容包含深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。

与2020年相比，2021年NeurIPS的投稿量有所下降，但接收的论文总数反而更多，所以接收率从20%上升到了26%。

第38届国际机器学习会议（ICML 2021）于2021年7月18日至24日以虚拟会议的形式召开。本次会议共收到了5513篇有效论文投稿，最后接收了1184篇，其中有166篇长论文（Long Talk）和1018篇短论文（Short Talk），接收率21.48%，是近五年最低，不过与2020年的21.8%接收率相比，差别不大。

第30届国际人工智能联合大会 IJCAI 2021 于8月19日-26日在线上正式召开。本次会议共收到了4204篇论文投稿，由于IJCAI 2021为两阶段评审，有3033篇论文通过了摘要拒绝(Summary-reject)阶段最终进入完整评审（full reviews）阶段，最终接收587篇。进入完整评审阶段的论文接收率为19.3%，大会整体论文接收率为13.9%。

奖项情况

AAAI 2021共评选出三篇最佳论文（3 Best papers）、三篇最佳论文亚军（3 Best paper runners up）和六篇杰出论文（6 Distinguished papers）。其中，三篇最佳论文中有两篇为华人团队的工作，一作分别是来自北京航空航天大学的Haoyi Zhou和达特茅斯学院的博士生Ruibo Liu。三篇最佳论文亚军中有两篇为华人学者的工作，一篇来自北京航空航天大学和微软研究院的合作团队，另外一篇来自哈佛大学、CMU的合作团队。六篇杰出论文中有一篇为中国学者的工作，一作为来自深圳市计算机视觉与模式识别重点实验室、华南理工大学的Hongbin Xu。

AAAI 2021 三篇最佳论文的具体研究内容如下：

（1）Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

长时间序列预测技术可以应用在很多实际场景中，例如电力消耗规划。与一般的时间序列预测技术相比，长序列时间序列预测（Long sequence time-series forecasting，LSTF）对模型的预测能力提出了更高的要求，即需要能够有效地捕捉输出和输入之间精确的长期依赖耦合。最近的研究表明，Transformer具有提高预测能力的潜力。

然而，Transformer存在一些严重问题，使其无法直接应用于LSTF，包括二次时间复杂度、高内存使用率以及编码器-解码器体系结构的固有限制等等。为了解决这些问题，本文设计了一个高效的基于变压器的适用于LSTF的模型，命名为Informer。Informer具有三个显著特征：（i） 一种稀疏的自注意机制，在时间复杂度和内存使用方面达到O(Llog L)，并且在序列依赖性对齐方面也具有较高性能。（ii）自注意提取通过将级联层输入减半来突出控制注意，并能够有效地处理超长的输入序列。（iii）生成式解码器通过一次正向操作而不是一步一步的方式来预测长时间序列，这种处理方式大大提高了长序列预测的推理速度。

作者在四个大规模数据集上的大量实验表明，Informer的性能明显优于现有的方法，并为LSTF问题提供了一种新的解决方案。

（2）Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory

探索性开发是多智能体学习（multi-agent learning，MAL）中一个强大而实用的工具，但其效果还远未被人们所了解。本文在该研究方向上具体探讨了Q-Learning的平滑模拟。本文学习模型作为研究探索开发的最佳模型具有很强的理论合理性。具体地说，作者证明了平滑Q-Learning在任意博弈中具有有限遗憾，因为成本模型明确捕获了博弈和探索成本之间的平衡，并且它总是收敛到量子响应平衡集（quantal-response equilibria，QRE）中，这是有限理性下博弈的标准解概念，具有异质学习agent的加权势对策。

作者讨论了衡量探索对集体系统效应的影响，描述了低维MAL系统中QRE曲面的几何特征，并将本文发现与突变（分叉）理论联系起来。特别是，随着探索超参数随时间的演化，系统会经历相变，在这种相变中，只要探索参数发生极小的变化，平衡的数量和稳定性就会发生根本性的变化。基于此，我们提供了一个正式的理论处理方法，即调整探索参数如何可证明地导致平衡选择，对系统性能既有积极的影响，也有消极的影响（以及潜在的无界影响）。

（3）Mitigating Political Bias in Language Models Through Reinforced Calibration

当前的大规模语言模型可能会因其所使用的数据而产生政治偏见，在现实环境中部署时可能会造成严重问题。本文描述了衡量GPT-2生成中的政治偏见的指标，并提出了一个强化学习（RL）框架来缓解生成文本中的政治偏见。通过使用单词嵌入或分类器的奖励，RL框架能够在不访问训练数据或重新训练模型的情况下指导debiased生成。根据对政治偏见敏感的三个属性（性别、位置和主题）进行的实证实验结果，本文方法从本文提出的评估指标和参与实验的人类主观评估两个角度出发都减少了偏见，同时保持可读性和语义一致性。

AAAI 2022的各个奖项于2月24日在大会的开幕式上宣布。除了优秀论文奖（Outstanding papers）、杰出论文奖（Distinguished papers）和最佳演示奖（Demonstration）之外，本次会议还新增了优秀学生论文奖（Outstanding Student papers）。

本届会议有 1 篇论文获得优秀论文奖，另有 2 篇论文获得优秀论文提名奖。本届会议共有 1 篇论文获得优秀学生论文奖，另有 2 篇论文获优秀学生论文提名奖。此外，本届会议共选出了 6 篇杰出论文，以及1个最佳演示奖。

AAAI 2022的Outstanding Paper Award颁给了推荐系统相关的文章《Online certification of preference-based fairness for personalized recommender systems》（https://arxiv.org/pdf/2104.14527.pdf）。

由于推荐系统在实际应用中对用户的影响越来越大，推荐系统的公平审计问题引起了越来越多的关注。目前对公平性的审计仅限于敏感群体层面的粗粒度奇偶校验评估。本文研究提出了「envy-freeness」，这是一个与个人偏好一致的更细化的标准：每个用户都应该更喜欢符合自己需要的推荐，而不是其他用户的推荐。「envy」审计需要估计用户除去现有推荐之外的偏好，因此，作者将审计看作multi-armed bandits的一个新的纯粹探索问题。本文提出了一个样本高效算法，理论上能够保证推荐算法不会降低用户体验。此外，还研究了所提出的方法在现实世界推荐数据集上实现的权衡。

AAAI 2022的Outstanding Student Paper Award颁给了自然语言生成系统质量评估相关的文章《InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation》（https://arxiv.org/pdf/2112.01589.pdf）。

通过人工注释评估自然语言生成系统质量的方法成本非常高，并且非常耗时。因此在实践中，研究人员大多依靠自动指标来评估模型质量。过去十年，领域内涌现出许多基于字符串的指标（例如 BLEU）。但是，此类指标通常依赖于精确的匹配，因此不能稳健地处理同义词。本文提出了一系列指标 InfoLM，可被视为基于字符串的指标，但借助预训练掩码语言模型解决了上述缺陷。这些指标还利用信息度量，允许 InfoLM 适应各种评估标准。

AAAI 2022的6篇Distinguished Papers则分别是轻量型德州扑克 AI 程序 AlphaHoldem、组合优化的打破对称性和优势、在线获取的最优匹配、基于采样的非高斯噪声自治系统鲁棒控制、双目标Pareto区域的子集逼近以及具有二次惩罚的SoftCumulative约束。

AAAI 2022的最佳演示奖颁给了密歇根大学研究人员的工作《A Demonstration of Compositional, Hierarchical Interactive Task Learning》（https://www.aaai.org/AAAI22Papers/DEMO-00325-MiningerA.pdf）。作者展示了交互式任务学习代理Rosie，它通过情境自然语言教学学习巡逻模拟营房环境的任务。在这样做的过程中，它建立了一个相当大的任务层次结构，包括先天任务和习得任务、制定为实现目标或遵循程序的任务、具有条件分支和循环的任务，以及涉及交流和心理行为的任务。Rosie是在Soar认知架构中实现的，它使用声明性任务网络来表示任务，并通过组块将其编译成程序规则。这是让它从单一的训练中学习并快速概括的关键。


NeurISP 2021 中共有六篇论文被选为杰出论文。委员会选择这些论文的原因是其出色的清晰度、洞察力、创造力和持久影响的潜力。获奖论文包括（按论文编号顺序）：

（1）A Universal Law of Robustness via Isoperimetry（通过同位素测量的通用鲁棒性定律）

本文提出了一个理论模型，以解释为什么许多最先进的深度网络需要的参数比顺利拟合训练数据所需的多得多。特别是，在关于训练分布的某些规则性条件下，一个O(1)-Lipschitz函数插值训练数据低于标签噪声所需的参数数量以nd级数扩展，其中n是训练样本数量，d是样本数据维度。这一结果与传统的结果形成了鲜明的对比，传统的结果指出，一个函数需要n个参数来插值训练数据，而为了顺利插值，这个额外的d系数似乎是必要的。

该理论非常简单，并且与一些关于在MNIST分类中具有鲁棒概括性的模型大小的经验观察一致。这项工作还提供了一个可测试的预测，即为ImageNet分类开发鲁棒模型所需的模型大小。

（2）On the Expressivity of Markov Reward（论马尔科夫奖励的可表达性）

马尔科夫奖励函数是不确定性和强化学习下的顺序决策的主导框架。本文从系统设计者对特定行为的偏好、对行为的偏好或对状态和行动序列的偏好等方面，对马尔可夫奖励何时足以或不足以使系统设计者指定一项任务进行了阐述。作者用简单的、说明性的例子证明，存在着一些任务，对于这些任务，不能指定马尔科夫奖励函数来诱导所需的任务和结果。

幸运的是，他们还表明有可能在多项式时间内决定对于所需的设置是否存在兼容的马尔科夫奖励，如果存在，也存在一种多项式时间的算法来构建有限决策过程设置中的这种马尔科夫奖励。这项工作揭示了奖励设计的挑战，并可能开辟未来的研究途径，研究马尔科夫框架何时以及如何足以实现人类利益相关者所期望的绩效。

（3）Deep Reinforcement Learning at the Edge of the Statistical Precipice

严格的方法比较可以加速有意义的科学进步。本文提出了提高深度强化学习算法比较的严谨性的实用方法：具体而言，对新算法的评估应该提供分层的自举置信区间、跨任务和运行的性能概况以及四分位数。本文强调，在许多任务和多次运行中报告深度强化学习结果的标准方法会使人很难评估一种新的算法是否代表着比过去的方法有一致的、可观的进步，作者通过经验性的实验说明了这一点。所提出的性能总结被设计成可以用每个任务的少量运行来计算，这对许多计算资源有限的研究实验室来说可能是非常重要的。

（4）MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers（使用Divergence Frontiers 测量神经文本和人类文本之间的差距）

本文提出了MAUVE—一种用于比较模型生成的文本和人类生成的文本分布的散度测量方法。MAUVE使用被比较的两个文本的量化嵌入的（soft）KL散度度量系列。所提出的MAUVE测量本质上是对连续系列测量的整合，旨在捕捉第一类错误（产生不现实的文本）和第二类错误（没有捕捉到所有可能的人类文本）。实证实验表明，MAUVE能识别模型生成的文本的已知模式，并与人类的判断有更好的关联。这篇论文所涉及的研究问题在开放式文本生成快速进展的背景下非常重要，作者也给出了清晰的分析结果。

（5）Continuized Accelerations of Deterministic and Stochastic Gradient Descents, and of Gossip Algorithms

本文描述了Nesterov加速梯度方法的 "连续化 "版本，其中两个独立的矢量变量在连续时间内共同演化—与之前使用微分方程来理解加速的方法很相似—但使用梯度更新是在泊松点过程决定的随机时间发生的。这种新方法导致了一种（随机的）离散时间方法：

(1) 享有与Nesterov方法相同的加速收敛性。

(2)本文给出了一个清晰的分析过程，通过利用连续时间进行论证，与之前的加速梯度方法的分析相比更容易理解。

(3)避免了连续时间过程离散化带来的额外误差，这与之前几次利用连续时间过程理解加速方法的尝试形成了鲜明的对比。

（6）Moser Flow: Divergence-based Generative Modeling on Manifolds（基于散度的生成模型在流形上的应用）

本文提出了一种在黎曼流形上训练连续归一化流（continuous normalizing flow，CNF）生成模型的方法。其关键思想是利用Mose 的一个结果，该结果用一类有限的常微分方程（ODEs）来描述CNF的解决方案（Moser称之为流形上的方向保全自变量），该类ODEs享有几何规则性条件，并使用目标密度函数的发散来明确地定义。

本文所提出的Moser Flow方法使用这一解决概念，开发了一种基于参数化目标密度估计器（可以是神经网络）的CNF方法。训练相当于简单地优化密度估计器的散度，从而无需运行ODE求解器。本文实验表明，与之前的CNF工作相比，CNF训练时间更快，测试性能更优，并且能够对具有非恒定曲率的隐式表面的密度进行建模。此外，这种利用几何规律性条件解决昂贵的反向传播训练的思路可能有更广阔的的应用价值。

ICML 2021共评选出6篇获奖论文，其中包括杰出论文奖1篇，杰出论文提名奖4篇，以及时间检验奖1篇。

Outstanding Paper：Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

本文来自多伦多大学和Google Brain合著。展开计算图应用于许多场景中，包括训练RNN、通过展开优化调整超参数以及训练学习的优化器等等。目前，这种计算图中优化参数的方法存在着高方差梯度、偏差、缓慢更新以及大量内存使用等问题。作者在这篇获奖论文中引入了一种持久进化策略（Persistent Evolution Strategies，PES）方法，它将计算图划分为一系列阶段展开（truncated unrolls），并在每次展开后执行基于进化策略的更新步骤。PES通过在整个展开序列中累积修正项来消除这些截断的偏差。作者通过实验证明了PES与其他几种合成任务的梯度估计方法相比的优势，并展示了它在训练学习型优化器和调整超参数方面的适用性。

此外，本次会议杰出论文提名包括康奈尔大学陆昱成等人的论文《Optimal Complexity in Decentralized Training》分散训练中的最佳复杂度；

田渊栋的工作《Understanding self-supervised learning dynamics without contrastive pairs》无对比对的自监督学习动态理解；

来自多伦多大学、Google Brain的研究人员的论文《Oops I Took A Gradient: Scalable Sampling for Discrete Distributions》离散分布的可扩展取样；

来自德国柏林大学、波茨坦大学研究人员的论文《Solving high-dimensional parabolic PDEs using the tensor train format》使用tensor-train解决高维抛物线PDEs的问题。

本次会议的时间检验奖名为 《Bayesian Learning via Stochastic Gradient Langevin Dynamics》通过随机梯度朗文动力学的贝叶斯学习，作者分别是高通荷兰公司技术副总裁Max Welling和牛津大学教授Yee Whye Teh（郑宇怀）。

IJCAI 2021官方公布了本年度的各项大奖，其中，卓越研究奖（Research Excellence Award）颁发给了「强化学习之父」Richard Sutton，主要表彰他在强化学习领域的贡献。计算机与思想奖（Computer and Thought Award）颁发给了CMU 助理教授方飞，方飞教授因其在将机器学习与博弈论相结合以及利用这些新技术解决社会挑战方面的贡献而受到表彰。约翰麦卡锡奖（John McCarthy Award）则由「德扑 AI 之父」 Tuomas Sandholm 获得，他主要在多智能体系统、计算经济学、优化和博弈论及其应用领域做出了重大研究贡献。

IJCAI 2021 共有3篇论文获得杰出论文奖，1篇论文获得荣誉提名。获得杰出论文奖的文章具体如下：

（1）Learning Generalized Unsolvability Heuristics for Classical Planning

对于经典规划问题，近期的研究引入了专门检测不可解决状态（即不能达到目标状态的状态）的技术。本文从广义规划的角度来处理这个问题，并学习描述整个规划领域不可解性的一阶公式。作者具体将该问题转换为一个自监督分类任务进行分析。本文使用的训练数据是通过对每个域的小实例的详尽探索而自动生成和标记的，候选特征则是由用于定义域的谓词自动计算得到的。作者研究了三种具有不同性质的学习算法，并将它们与经典的启发式算法进行比较。本文的实验结果表明，本文方法往往能以较高的分类准确度捕捉到重要的不可解决的状态类别。此外，本文的启发式方法的逻辑形式使其易于解释和推理，并可用于表明在某些领域中所学到的特征描述正好捕捉了该领域的所有不可解决的状态。

（2）On the Relation Between Approximation Fixpoint Theory and Justification Theory

近似不动点理论（Approximation Fixpoint Theory，AFT）和正当性理论（Justification Theory，JT）是统一逻辑形式的两个框架。AFT根据网格算子（lattice operators）的不动点研究语义，JT根据理由（justifications）研究语义，这些理由解释了为什么某些事实在模型中成立或不成立。虽然方法不同，但这些框架的设计目标类似，即研究在非单调逻辑中出现的不同语义。本文的第一个贡献是提供两个框架之间的正式关联性分析。作者证明了每一个理由框架都会诱导生成一个近似值，并且这种从JT到AFT的映射保留了所有主要语义。第二个贡献是利用这种对应关系，用一类新的语义即终极语义（ultimate semantics）来扩展JT。在JT中，通过对理由框架进行语法转换可以获得最终语义，本质上是对规则进行某种解析。

（3）Keep Your Distance: Land Division With Separation

本文的研究内容来自于实际应用程序的需求，目的是使公平划分（fair division）理论更接近于实践。具体的，本文关注两项源自土地分割的需求：

（1） 每个agent都应该接收一个可用的几何形状的地块；

（2） 不同agent的地块必须在物理上分开。在符合这些要求的情况下，经典的公平概念—按比例划分是不切实际的，因为它可能不可能达到任何乘法近似值。相比之下，Budish于2011年提出的序数最大值共享近似法（the ordinal maximin share approximation）提供了有意义的公平保障。当可用形状为正方形、宽矩形或任意轴对齐矩形时，本文证明了可实现的最大共享保证的上限和下限，并探索了在此设置下找到公平划分的算法和查询复杂性。


获得荣誉提名的文章为：Actively Learning Concepts and Conjunctive Queries under ELdr-Ontologies

论文地址：https://arxiv.org/pdf/2105.08326.pdf

本文考虑在存在描述逻辑EL^r制定的本体的情况下学习一个概念或查询的问题，在Angluin的主动学习框架下，允许学习算法交互地查询一个oracle（如领域专家）。文章表明，以下内容可以在多项式时间内学会。

(1)EL-概念；

(2) 无对称性的ELI-概念；
(3) 和弦的、无对称的和有界的数的共轭查询（conjunctive queries，CQs）。在所有的情况下，学习者都可以向oracle提出基于ABoxes的成员查询和等价查询，询问所考虑的类中的给定概念/查询是否与目标等价。当我们在等价查询中承认无限制的CQ时，(3)中对有界算数的限制可以被取消。

发表论文作者相关情况

AAAI 2021录用的1696篇论文共计覆盖5824位从业学者（经过简单的同名作者识别后）。其中，有3位学者有7篇相关论文发表在AAAI 2021，10位学者有6篇相关论文，69位作者有5篇相关论文，总计82位学者被接收的论文数量在5篇以上（含5篇），详情参见下表。

AAAI 2021接收论文数量最多的作者是来自University of Washington Allen Institute的Yejin Choi、来自南京理工大学的Jian Yang（杨健）和来自上海交通大学的Junchi Yan（严骏驰）。

Yejin Choi教授最近的研究有两大主题：
（i）从使用语言的各种语境中学习语言的背景意义，包括物理（如视觉）和抽象（如社会、认知）；
（ii）利用大规模多模态数据学习世界运作机理的背景知识。

具体包括：

（i）视觉语言基础：大规模学习语言和视觉之间的语义对应关系，处理图像字幕、多模态知识学习和推理等任务。

（ii）物理常识推理：从语言和其他形式学习基础物理知识；基于框架语义风格表示的动作因果关系和蕴涵建模。

（iii）社会常识推理和内涵框架：行为和事件的内涵含义建模；模拟人们为什么要做（意图）他们做的事，以及不同行为和事件的（情感）因果影响。

（iv）语言生成与会话人工智能：长语境建模；对故事或叙述中的场景进行跟踪和模拟；学习写作。

（v）社会公益AI：虚假评论/新闻检测；政治事实核查；识别现代电影和文学中的偏见。

杨健教授是南京理工大学计算机科学与工程学院院长，教授，博士生导师。他的主要研究方向为模式识别、计算机视觉、机器学习（包括深度学习）、类脑（类人）计算等智能科学技术，以及相关技术在视频监控（以人为中心的感知）、自动驾驶（无人驾驶汽车、行车环境感知）以及智能机器人等领域中的应用。

严骏驰教授是上海交通大学计算机科学与工程系和上海交通大学人工智能研究所的终身制独立研究教授。他的主要研究方向是非/半结构化的关系和序列数据分析和学习，特别是针对图形和图像（嵌入和匹配）和时间序列（点过程和RNN模型）的分析。此外，他的研究内容还包括序列数据的的应用，如文献引用、临床试验、失败日志、社交媒体等。

AAAI 2022接收的1370篇论文共计覆盖5180位从业学者（经过简单的同名作者识别后）。其中，有3位学者有5篇相关论文发表在AAAI 2022，27位学者有4篇相关论文，130位作者有3篇相关论文发表，详情参见下表。

查正军（Zhengjun Zha）是中国科学技术大学大数据学院教授，主要从事图像视频分析与检索、多媒体大数据分析、计算机视觉、人工智能等方向的研究。他在AAAI 2022中发表的论文主要是关于行人重识别、运动分割、阴影消除等。

季向阳（Xiangyang Ji）是清华大学自动化系教授，主要研究方向为信号处理、图像/视频处理与传输、统计分析、机器学习、光学成像等。他在AAAI 2022中发表的论文主要是关于图像压缩分析、强化学习、网格去噪技术等。

Haifeng Xu是弗吉尼亚大学计算机科学系的助理教授，他专注于通过利用来自优化、学习、算法设计、博弈论等方面的机制来设计理论上合理、实践上有效的技术。他在AAAI 2022中发表的论文主要是关于游戏控制、信息不对称在拍卖中的作用、Poisoning Attacks、凸面拟合以及推荐问题等。

NeurIPS 2021接收的2344篇论文共计覆盖8914位从业学者（经过简单的同名作者识别后）。其中，有2位学者有14篇相关论文发表在NeurIPS 2021，3位学者有13篇相关论文，3位作者有12篇相关论文，总计22位学者被接收的论文数量在8篇以上（含8篇），详情参见下表。

在NeurIPS 2021 上发表14篇论文高居榜首的是微软亚研院副院长刘铁岩和来自斯坦福的Stefano Ermon。刘铁岩教授现任微软亚洲研究院副院长，领导微软亚洲研究院在机器学习领域的研究工作。他在本次大会上发表的论文主要涉及神经网络架构设计、表征学习、模仿学习、强化学习、自动对话生成、自动语音识别、文本语音转换等内容。
Stefano Ermon是斯坦福大学计算机科学学院助理教授，他主要研究在图形模型中的可伸缩技术以及精确推理，数据统计建模，大规模组合优化和不确定性下的决策。他在本次大会上发表的论文主要包括贝叶斯因果发现、时间序列归纳、排序问题、模仿、对比散度分析、多类别矫正、超分辨率分析、少样本学习、神经网络模型等。

ICML 2021接收的1184篇论文共计覆盖3988位从业学者（经过简单的同名作者和机构识别后）。其中，有1位学者有14篇相关论文发表在ICML 2021，4位学者有11篇相关论文，详情参见下表。

ICML 2021接收论文数量最多的作者是日本理化学研究所先进智能研究中心主任 Masashi Sugiyama，这也是他连续第二年论文总数排名第一，他的研究方向主要是统计机器学习、数据挖掘、信号和图像处理、机器人控制等。

来自普林斯顿的杨卓然、来自西北大学的汪昭然、来自RIKEN的牛罡以及来自UC Berkeley的Sergey Levine分别以11篇论文并列第三。杨卓然是普林斯顿大学运筹学和金融工程系的博士生，主要研究方向是机器学习、统计和优化、强化学习的应用。汪昭然是西北大学工业工程和管理科学以及计算机科学助理教授，主要研究方向为增强学习、统计和优化，侧重于多智能增强学习和博弈论。

牛罡博士是日本理化研究所人工智能研究员。Sergey Levine是加州伯克利分校电气工程与计算机科学系助理教授，他的工作重点是用于决策和控制的机器学习，重点是深度学习和强化学习算法，他的工作的应用包括自主机器人和车辆、计算机视觉和图形，他的研究包括开发结合感知和控制的深度神经网络策略的端到端训练算法、反强化学习的可扩展算法、深度强化学习算法等。

IJCAI 2021接收的587篇论文共计覆盖2281位从业学者（经过简单的同名作者和机构识别后）。其中，有1位学者有5篇相关论文发表，7位学者有4篇相关论文，详情参见下表。

发表论文机构相关情况

在国内高校中，中科院和北京大学被AAAI 2021接收的论文最多，分别达到了152篇。国内高校在AAAI 2021上发表论文总数排名前十名情况如下：

如下表可知，在国内知名企业机构中，在AAAI 2021中发表论文数量最多的是阿里巴巴，共有54篇论文，也是全球入选最多的科技公司之一。本次会议百度也有24篇论文，京东、腾讯分别有21篇和11篇论文。新兴的网易伏羲是国内专业从事游戏与泛娱乐AI研究和应用的机构，本次会议也有9篇论文入选AAAI 2021。华为共有7篇论文。

在具体的论文相关主题方面，阿里巴巴在人工智能多个领域中均有突破，特别是NLP领域。除这54篇大会论文外，阿里巴巴还有多篇论文入选workshop，聚焦于社会问题，例如COVID-19相关的fake news 识别等等。

百度的论文则涵盖了计算机视觉、NLP、知识图谱、机器学习等多个领域，与百度涉及的智能客服、智慧医疗、智能交通等应用场景相关。京东在AAAI 2021中发表的论文数目也远超其前几年，研究方向也非常广泛，涉及了计算机视觉、联邦学习、对抗学习、神经网络、因果推理等多个领域。腾讯的11篇论文主要聚焦于计算机视觉领域，包括了动作识别、人脸安全等具体内容。网易伏羲在此次AAAI 2021中的论文则多与其技术成果相关，包括表情迁移、智能构建游戏角色、人脸重建、图像生成等。最后，华为的论文也涉及多个领域，包括传统的联邦学习、深度学习、机器学习、NLP等。

NeurIPS 2021 官网给出了各机构投稿论文的数量情况。Google以177篇高居榜首，遥遥领先。从国内的主要机构来看，阿里巴巴以20篇论文的数量排在全部机构的第七名，腾讯研究院和百度分别投稿19篇论文和16篇论文。

从高校角度分析，MIT和斯坦福分列第一、第二位，而斯坦福大学在最终的获奖论文中占有三席。国内各高校中，清华大学投稿90篇论文，北京大学则有63篇论文，分列第五和第九。

图 NeurIPS 2021 企业投稿论文数量

图 NeurIPS 2021 高校投稿论文数量

各个机构在ICML 2021中发表论文的总体情况如下表，其中，Google以109篇文章高居榜首，北京大学和清华大学分列第11和第15位。

表 ICML 2021 发表论文较多企业情况

具体国内高校在ICML 2021上发表论文数量情况如下：

而国内知名机构在ICML 2021上发表论文数量情况如下：

从产业界和学术界的角度划分，学术界有 935 篇论文、产业界有 352 篇，这意味着大多数论文至少与一所大学有合作关系，从全球范围的角度来讲，学术界仍然是国际会议的主要力量。

图 ICML 2021中产业界和学术界发表论文情况

会议论文趋势分析

在AAAI 2021论文相关的研究领域方面，机器学习、计算机视觉、NLP仍然是涉及最多的几个内容。根据AAAI官网的数据，本次会议投稿量和接收量最多的主题为Machine Learning，分别为2654篇和524篇。排名第二的主题为Computer Vision，投稿量和接收量分别为1541篇和307篇。排名第三的主题为Speech & Natural Language Processing，投稿量和接收量分别为1002篇和246篇。然后是Data Mining& Knowledge Management、Application Domains、Game Theory & Economic Paradigms等。

根据AAAI 2021官网的数据显示，论文热门主题的分布与2020年大致相同，最终接收数量排名前四位的研究主题没有发生变化。其中，Machine Learning相关的论文稍有增加，而CV、NLP的相关论文略有减少，Application domains的论文减少了4篇。

由AAAI 2021 官网给出的论文主题分布可以看出，机器学习、计算机视觉、NLP仍然是热门关注的领域，AAAI 2021的机器学习文章中，除了对机器学习方法和架构本身的改进外，还探讨了机器学习在健忘症中的应用、材料工程中的应用、健康领域中的应用、天气预测中的应用、光线传感器中的应用、生物多样性智能分析、森林火灾预测等问题，此外，也涉及了最近获得广泛关注的数据隐私问题，例如微软刘铁岩组的文章《How Does Data Augmentation Affect Privacy in Machine Learning》。另外还有十篇论文也是与隐私保护（Privacy）直接相关的，以及与可解释性直接相关的文章15篇、与伦理直接相关的论文4篇以及与责任相关的论文1篇等等。其中，包括本界大会的获奖论文：《Mitigating Political Bias in Language Models Through Reinforced Calibration》通过强化校准减轻语言模型中的政治偏见。可以看出，越来越多的研究人员开始关注这一类AI引发的社会问题。

关于其它的专门技术，在AAAI 2021 的1696篇文章中都各有涉猎。例如图结构的研究，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。与传统的数据结构相比，图结构能够编码关于图的丰富信息的表示，因此在链路预测、分类等领域得到了广泛的应用。在AAAI 2021 中，与图结构相关的论文总数达到了165篇。具体的内容包括经典的图神经网络、图嵌入、图注意力机制等技术在预测、估计、对话生成、推荐等任务中的应用。

关于GAN，也依然是AAAI 2021的研究热点，有数十篇论文集中关注GAN的架构改进、应用等问题，例如关于极端样本的对抗性生成的GAN、用于衡量空间真实度的GAN结构、用于手写体模仿的GAN、用于语音分析的多频谱类GAN、用于人体运动预测的Multi-GAN结构、应用于3D点云的GAN结构等等，通过改进GAN的结构、引入更多的信息或特征，不断提升GAN在不同应用领域中的性能。关于注意力机制的文章也达到了52篇，关于Transformer的文章有28篇，关于智能体/多智能体的文章有32篇等等。

在AAAI 2022论文相关的研究领域方面，机器学习、计算机视觉、Speech & NLP仍然是涉及最多的几个内容。根据AAAI 2022官网的数据，今年投稿量和接收量最多的主题为Machine Learning，分别为2934篇和432篇。排名第二的主题为Computer Vision，投稿量和接收量分别为2366篇和343篇。排名第三的主题为Speech & Natural Language Processing，投稿量和接收量分别为1226篇和144篇。然后是Data Mining& Knowledge Management、Domain(s) of Application、AI for Social Impact等。与AAAI 2021对比，排名前三的均为机器学习、计算机视觉、Speech & NLP，且这三个主题的投稿量均超过了2021年（2021年的投稿数据分别为2654、1541、1002），说明这三个主题仍然是AI领域最热门的研究主题。

图 AAAI 2022 投稿和接收论文主题分布情况

而从论文接收率方面来看，AAAI 2022和AAAI 2021的变化还是比较大的。AAAI 2022接收率最高的主题为知识表示和推理（Knowledge Representation and Reasoning），排在第二、三位的分别为博弈论和经济范式（Game Theory and Economic Paradigms）和规划、路由和调度（Planning, Routing, and Scheduling）。2021年接收率最高的主题约束统计和优化（Constraint Statistaction and Optimization）则落到了第五位。

图 AAAI 2020-2022 接收论文主题分布情况

由AAAI 2022 官网给出的论文主题分布可以看出，机器学习、计算机视觉、NLP仍然是热门关注的领域。从技术角度分析，深度学习仍然是比较火热的应用于人工智能领域的技术之一，有72篇文章明确使用了深度学习相关的技术，包括经典的深度神经网络、DeepFake相关、深度表达等等。从数据形式角度分析，125篇文章提及了图结构数据。从学习范式角度分析，经典的表示学习、监督学习、Transformer以及多智能体等仍然是主流范式。此外，AAAI 2022中有24篇文章与隐私保护（Privacy）直接相关，而AAAI 2021中这一数据是10篇；与可解释性（Explanation、Interpretation）相关的论文29篇。而在机器学习的具体应用中，目标检测（Object detection）、文本分类（Text Classification）等仍然是关注度较高的方向。

图 AAAI 2022 接收论文主题分布

强化学习（Reinforcement Learning）是近年来的研究热点，NeurIPS 2021 也不例外。在接收的文章中，136篇的题目中明确提到了“Reinforcement Learning”。从NeurIPS接收的强化学习相关论文中分析，主要涉及到了多智能体强化学习、在线或离线鲁棒强化学习、深度强化学习，以及基于不确定性、统计、探索性、视觉模型等的强化学习，此外，还涉及了一些强化学习平台，例如强化学习测试平台（https://openreview.net/pdf?id=h6YRaULThaK）、强化学习生态系统（https://openreview.net/pdf?id=uce6UK2fW4O）等。

Transformer依然是NeurIPS 2021中的热点问题，仅检索论文标题我们就找到了93篇相关论文。其中，大部分仍然是与NLP、Vision相关的论文，通过调整设计Transformer的架构、层级，改进NLP或视觉领域的检测、分割水平。例如港大提出的SegFormer，利用层级化的Transformer提取不同粒度的特征，以构建多尺度的语义分割模型。

与 少样本/弱样本/零样本学习相关的文章有39篇。这一类问题主要解决的是实际场景中可用的标注数据少的问题。其中，关于弱样本学习的讨论，提出了弱标注数据的问题（Weak-shot Fine-grained Classification via Similarity Transfer）。弱标注(weak annotation)的定义取决于不同的任务，并且同一个任务也可以有不同级别的弱标注，也就是不同程度的"弱"。此外，关于经典的神经网络、机器学习、深度学习、算法等文章依然较多。

作为机器学习领域的顶会，ICML 2021论文相关的研究主题包括了主流的各类机器学习方法、框架和技术应用等：

• 通用机器学习（主动学习、聚类、在线学习、排名、强化学习、半监督学习、时间序列分析、无监督学习等）

• 深度学习 (架构、生成模型、深度强化学习等)

• 学习理论 (囚徒、博弈论、统计学习理论等)

• 优化 (凸优化，非凸优化，矩阵/张量方法，稀疏性等)

• 概率推理(贝叶斯方法、图形模型、蒙特卡洛方法等)

• 可信机器学习 (问责制、因果关系、公平性、隐私、稳健性等)

• 机器学习的应用 (计算生物学、众包、医疗保健、神经科学、社会公益、气候科学等)

从投稿量的角度分析，如下图所示，算法、深度学习、理论等8个领域是本次会议比较热门的领域。

作为机器学习领域的顶会，除了算法类、理论分析类、应用类的文章外，ICML 2021中关注最多的仍然是深度学习技术，说明深度学习仍然是机器学习中最常采用且引发最多关注的技术，紧随其后的就是强化学习技术、优化方法、概率方法。

除此之外，神经网络/图神经网络、Transformer等技术也引发很多关注。此外，会议中也有多篇论文与时间序列模型、因果分析模型等技术相关。不过，与GAN相关的论文数量要远少于其它国际会议，说明在机器学习的领域中（而非实际应用场景中）单纯GAN架构的改进吸引力在减弱。

IJCAI 2021 官方给出了论文热门主题的分析。从投稿的论文情况分析，比较热门的领域包括机器学习、计算机视觉、数据挖掘和自然语言处理等。这四大领域的投稿论文数量占了整个大会论文投稿总数的 65%。而接收论文总数较多的领域包括机器学习、计算机视觉、智能体/多智能体系统和NLP。

从论文接收率的角度分析，最终接收率较高的论文主要分布在以下几个领域：规划与调度、约束和 SAT、基于智能体和多智能体的系统、启发式搜索和 Game Playing、AI 中的不确定性等。经典的几个研究领域，包括数据挖掘、机器学习、NLP等，论文的接收率较低。

此外，大会官方还统计了被接收论文的标题关键词，排在前几位的接受率较高的论文标题关键词有：随机（ stochastic ）、博弈（game）、示例（ instance ）、增强（ augmentation ）、蒸馏（distillation）等。

而对应的拒稿重灾区标题关键词排名靠前的有：卷积（convolutional）、训练（training）、特征（feature）、深度（deep）、对抗（adversarial）等。

从词云来看，IJCAI 2021接收论文的热门词汇前十名分别是：学习、网络、图、神经、模型、数据、知识、博弈（game）、检测和深度。

图 IJCAI 2021 接收论文热门词汇图

从IJCAI 2021 的论文情况看，机器学习、计算机视觉、NLP等仍然是论文投稿和接收数量的重点。但是，这些大领域范围内的论文接收率是比较低的。

引入随机方法、博弈论、增强处理、蒸馏等技术的论文接收率则较高，可以看出这几个技术是近年来大家关注的重点，也是普遍认可在机器学习中应用效果较好的几项技术。

在587篇Main Track的文章中，有11篇与可解释性相关的文章，涉及了神经网络模型、随机森林、NLP模型、对话生成、图像表征等多个领域的可解释性。

与图神经网络相关的文章16篇，与强化学习相关的文章有13篇，与伦理相关的文章1篇，对比学习的论文6篇，语言模型直接相关的论文6篇。

点击「机器之心2021-2022年度AI技术趋势报告 」，获取报告。已获得「机器之心Pro 会员」全功能账号权限的用户可直接下载查看。如您还没有「机器之心Pro会员」，扫描下方二维码关注「机器之心Pro」服务号（id：almosthuman2014pro），进入服务号主页，点击对话框，编辑发送「机器之心Pro会员」咨询，客服值班时间为工作日的10:00 - 19:00。