2022/07/21 08:26

陈萍、小舟编辑

ICML2022奖项公布：15篇杰出论文，复旦、厦大、上交大研究入选

ICML2022 共评选出 15 篇杰出论文和一篇时间检验奖论文。

近日，ICML 2022 大会在美国马里兰州巴尔的摩市以线上线下结合的方式举办。这也是新冠疫情以来大会首次恢复线下形式举办。

目前，大会已经公布了全部奖项，包括 15 篇杰出论文奖和 1 项时间检验奖。其中，复旦大学、上海交通大学、厦门大学、莱斯大学胡侠团队等多个华人团队的研究获得杰出论文奖。ICML 2012 关于「投毒攻击」的论文《Poisoning Attacks against Support Vector Machines》获得了本次大会的时间检验奖。

杰出论文奖

论文 1：Monarch: Expressive Structured Matrices for Efficient and Accurate Training
机构：斯坦福大学、纽约州立大学布法罗分校、密歇根大学
作者：Tri Dao、Beidi Chen、Nimit Sohoni、 Arjun Desai、Michael Poli、Jessica Grogan、Alexander Liu、Aniruddh Rao、Atri Rudra、Christopher Re
论文地址：https://arxiv.org/abs/2204.00595

论文简介：该研究提出了一类硬件高效的矩阵 Monarch，具有解析最优解。实验表明，Monarch 可以加速 ViT 和 GPT-2 在 ImageNet 分类任务上的训练。在密集到稀疏微调中，作为概念验证，我们的 Monarch 近似算法以相当的精度将 GLUE 上的 BERT 微调速度提高了 1.7 倍。

论文 2：Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation
机构：复旦大学、厦门大学、卡内基梅隆大学
作者：Jiali Wang、Wen Huang、Rujun Jiang、Xudong Li、Alex L. Wang
论文地址：https://arxiv.org/abs/2206.02991

论文简介：Stackelberg 预测博弈 (SPG) 是表征学习者和攻击者之间策略交互中很重要的一个问题。该研究探索了 SPG-LS 的一种新型表述，将 SPG-LS 重写为球面约束最小二乘 (SCLS) 问题。数值结果合成和真实世界的数据集表明，借助 SCLS 方法，SPG-LS 可以比当前 SOTA 解决方案快几个数量级。

论文 3：G-Mixup: Graph Data Augmentation for Graph Classification
机构：莱斯大学胡侠团队
作者：韩霄天、Zhimeng Jiang 、Ninghao Liu、胡侠（Xia Hu）
论文地址：https://arxiv.org/pdf/2202.07179.pdf

论文简介：该研究提出了一种名为 G-Mixup 的方法，通过插入不同类别图的生成器（即 graphon）来增强图分类。具体来说，该研究首先使用同一类中的图来估计一个 graphon，然后在欧几里得空间中插值不同类别的 graphon 以获得混合 graphon，合成图基于混合 graphon 生成。大量实验表明，G-Mixup 显著提高了 GNN 的泛化性和稳健性。

论文 4：Stable Conformal Prediction Sets
机构：佐治亚理工学院
作者：Eugene Ndiaye
论文地址：https://proceedings.mlr.press/v162/ndiaye22a/ndiaye22a.pdf

论文简介：该研究将共型预测（CP）方法与经典的算法稳定性界限结合起来，推导出可使用单个模型拟合计算的预测集合。该研究进行了一些数值实验来说明当样本量足够大时，在合成数据集和真实数据集上估计的紧密性。

论文 5：Learning inverse folding from millions of predicted structures
机构：UC 伯克利、纽约大学
作者：Chloe Hsu 、 Robert Verkuil 、 Jason Liu 、 Zeming Lin、 Brian Hie、Tom Sercu 、Adam Lerer 、Alexander Rives
论文地址：https://www.biorxiv.org/content/10.1101/2022.04.10.487779v1.full.pdf

论文简介：本文考虑从骨架原子坐标来预测蛋白质序列问题。该研究使用 AlphaFold2 预测了 12M 蛋白质序列结构，这样做将训练数据增加了近三个数量级。训练中增加了额外数据，具有不变几何输入处理层的序列到序列 transformer 实现了 51% 的本地序列恢复，掩埋残基的恢复率为 72%，总体上比现有方法提高了近 10 个百分点。

论文 6：Causal Conceptions of Fairness and their Consequences
机构：斯坦福大学、纽约大学、哈佛大学
作者：Hamed Nilforoshan 、 Johann Gaebler 、 Ravi Shroff 、 Sharad Goel
论文地址：https://arxiv.org/pdf/2207.05302.pdf

论文简介：本文首先将算法公平的因果定义归类为两大类，然后通过分析和经验证明，这两个定义在度量理论意义上——导致强烈的帕累托主导的决策策略，这意味着每个利益相关者都有一种可替代的、不受约束的策略。本文结果强调了在因果公平中常见的数学概念形式限制和潜在的不利后果。

论文 7：Do Differentiable Simulators Give Better Policy Gradients?
机构：MIT
作者：H.J. Terry Suh 、 Max Simchowitz 、 Kaiqing Zhang 、 Russ Tedrake
论文地址：https://proceedings.mlr.press/v162/suh22b/suh22b.pdf

论文简介：该研究表明某些物理系统的特征（例如刚度或不连续性）可能会损害一阶估计器的功效，并从偏差和方差的角度分析了这种现象。然后该研究提出了一个 α 阶梯度估计器（α ∈ [0, 1]），它正确地利用精确的梯度实现了一阶估计效率与零阶方法稳健性的双重优势。

论文 8：Learning Mixtures of Linear Dynamical Systems
机构：普林斯顿大学
作者：Yanxi Chen、H. Vincent Poor
论文地址：https://proceedings.mlr.press/v162/chen22t/chen22t.pdf

论文简介：本文研究了从未标记的短样本轨迹中学习多个线性动力系统 (LDS) 的混合问题，此外，该研究还开发了一种两阶段元算法，该算法可以有效地恢复每个真值 LDS 模型，直至误差

，其中 T 是总样本量。通过数值实验进行验证，证实了所提出算法的有效性。

论文 9：Active fairness auditing
机构：CMU、亚利桑那大学
作者：Tom Yan 、 Chicheng Zhang
论文地址：https://arxiv.org/pdf/2206.08450.pdf

论文简介：该研究启动了基于查询的审计（auditing）算法的研究，该算法可以以高效查询的方式估计 ML 模型的人口学平等性(Demographic Parity)。该研究提出了一种最佳确定性算法，以及实用随机化、oracle-efficient 算法。此外，他们还研究了随机主动公平性估计算法的最优查询复杂度。

论文 10：Understanding Dataset Difficulty with V-Usable Information
机构：斯坦福大学、艾伦人工智能研究院、华盛顿大学
作者：Kawin Ethayarajh 、 Yejin Choi 、 Swabha Swayamdipta
论文简介：https://arxiv.org/pdf/2110.08420v2.pdf

论文简介：该研究构建了数据集难度（dataset difficulty），并进一步引入 PVI（pointwise V-information）来测量单个实例的难度。此外，本文框架允许通过输入转换来解释不同输入属性，并用它来发现 NLP 基准中的注释伪影（artefacts）。

论文 11：Adversarially Trained Actor Critic for Offline Reinforcement Learning
机构：微软研究院、伊利诺伊大学厄巴纳 - 香槟分校、谷歌研究院
作者：Ching-An Cheng 、 Tengyang Xie 、 Nan Jiang 、 Alekh Agarwal
论文地址：https://arxiv.org/pdf/2202.02446.pdf

论文简介：该研究提出了对抗训练的 Actor-Critic 算法（ATAC）——一种在数据覆盖不足的情况下用于离线强化学习（RL）的无模型算法。该框架既为函数近似提供了理论保证，又为可扩展到复杂环境和大型数据集的深度 RL 实现提供了保障。在 D4RL 基准测试中，ATAC 在一系列连续控制任务上始终优于 SOTA 离线 RL 算法。

论文 12：Privacy for Free: How does Dataset Condensation Help Privacy?
机构：上海交通大学、爱丁堡大学、Sony AI
作者：Tian Dong 、 Bo Zhao 、 Lingjuan Lyu
论文地址：https://arxiv.org/pdf/2206.00240.pdf

论文简介：该研究首次发现旨在提高训练效率的数据集压缩（DC）方法也是替代传统数据生成器进行私有数据生成的良好解决方案。为了证明 DC 的隐私优势，该研究在 DC 和差分隐私之间建立了联系。这项工作是数据高效和隐私保护机器学习的一个里程碑。

论文 13：Bayesian Model Selection, the Marginal Likelihood, and Generalization
机构：纽约大学
作者：Sanae Lotfi 、Pavel Izmailov 、Gregory Benton、Micah Goldblum 、Andrew Wilson
论文地址：https://arxiv.org/pdf/2202.11678.pdf

论文简介：本文首先回顾了学习约束和假设检验的边际似然所具有的特性。之后论文强调了在使用边际似然作为泛化代理（proxy）的概念和实际问题。论文展示了边际似然如何与泛化负相关，还介绍了其与神经架构搜索的含义，可能导致超参数学习中欠拟合和过拟合问题。

论文 14：The Importance of Non-Markovianity in Maximum State Entropy Exploration
机构：米兰理工大学、苏黎世联邦理工学院
作者：Mirco Mutti、Riccardo De Santi、Marcello Restelli
论文地址：https://openreview.net/pdf?id=VEGkEHqEsiX

论文简介：该研究表明马尔可夫策略类足以满足任何无限样本最大状态熵（MSE）目标，并提出一种新的有限样本 MSE 目标和相应的表述。

论文 15：Minimum Cost Intervention Design for Causal Effect Identification
机构：洛桑联邦理工学院
作者：Sina Akbari、Jalal Etesami 、 Negar Kiyavash
论文地址：https://arxiv.org/pdf/2205.02232.pdf

论文简介：本文考虑了以最低成本设计干预措施集合的问题，以确定期望的效果。本文首先证明了这个问题是 NP 困难的，随后提出了一个算法，既可以找到最优解，也可以找到它的 logarithmic-factor 近似。此外，本文还提出了几个多项式时间启发式算法来解决计算复杂性。

时间检验奖

获得 ICML 2022 时间检验奖的是图宾根大学、卡利亚里大学的研究《Poisoning Attacks against Support Vector Machines》。

论文链接：https://arxiv.org/pdf/1206.6389.pdf

论文摘要：在这篇论文中，作者研究了一类针对支持向量机 (SVM) 的投毒攻击（poisoning attack）。这样的攻击注入了特别精心制作的训练数据，增加了 SVM 的测试错误。这些攻击的动机的核心是，大多数学习算法都假定它们的训练数据来自自然的或行为良好的分布。但是，这种假设通常不适用于安全敏感设置。正如本文所证明的，智能的对手可以在一定程度上预测支持向量机的决策函数的变化，基于的是恶意输入和使用这种能力来构造恶意数据。该攻击采用梯度上升策略，根据支持向量机最优解的性质计算梯度。该方法可以进行内核化，即使对于非线性内核也可以在输入空间构造攻击。实验结果表明，该梯度提升算法可靠地识别出非凸验证误差曲面的良好局部极大值，这显著地增加了分类器的测试误差。

作者之一 Battista Biggio 现在是意大利卡利亚里大学助理教授。自从 2007 年以来，他一直在同一所大学的电气与电子工程系工作。他曾分别于 2006 年和 2010 年在意大利卡利亚里大学以优异的成绩获得电子工程硕士学位和电子工程和计算机科学博士学位。

研究的另外两位作者分别是当时在图宾根大学的 Blaine Nelson 和 Pavel Laskov。

Blaine Nelson 于 2003 年获得南卡罗来纳大学计算机科学学士学位，并分别于 2005 年和 2010 年获得加州大学伯克利分校的硕士学位和博士学位，随后在图宾根大学和波茨坦大学进行了博士后研究。完成博士后工作后，Blaine 在 Google 工作了六年，在 2021 年 4 月加入了初创公司 Robust Intelligence 。

Pavel Laskov 现为列支敦士登大学教授，2014 年到 2018 年，他曾是华为欧洲研究中心（慕尼黑）首席工程师。

参考链接：https://icml.cc/virtual/2022/awards_detail

入门ICML

相关技术

知识图谱

欠拟合技术

使用太少参数，以致于不能很好的拟合数据，称为拟合不足（欠拟合）现象

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

梯度提升技术

梯度提升是用于回归和分类问题的机器学习技术，其以弱预测模型（通常为决策树）的集合的形式产生预测模型。它像其他增强方法一样以阶段式方式构建模型，并且通过允许优化任意可微损失函数来推广它们。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

表征学习技术

在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manual feature learning）等技术从原始数据的领域知识（domain knowledge）建立特征，然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效，但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点，它使得机器不仅能学习到数据的特征，并能利用这些特征来完成一个具体的任务。

来源：Wikipedia

假设检验技术

假设检验是推论统计中用于检验统计假设的一种方法。而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数，就会希望根据结果对未知的真正参数值做出适当的推论。

来源：维基

插值技术

数学的数值分析领域中，内插或称插值（英语：interpolation）是一种通过已知的、离散的数据点，在范围内推求新数据点的过程或方法。求解科学和工程的问题时，通常有许多数据点借由采样、实验等方法获得，这些数据可能代表了有限个数值函数，其中自变量的值。而根据这些数据，我们往往希望得到一个连续的函数（也就是曲线）；或者更密集的离散方程与已知数据互相吻合，这个过程叫做拟合。

来源：维基百科

支持向量机技术

在机器学习中，支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

来源：Wikipedia

对抗训练技术

对抗训练涉及两个模型的联合训练：一个模型是生成器，学习生成假样本，目标是骗过另一个模型；这另一个模型是判别器，通过对比真实数据学习判别生成器生成样本的真伪，目标是不要被骗。一般而言，两者的目标函数是相反的。

来源：机器之心

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

AlphaFold技术

DeepMind 提出的深度神经网络蛋白质形态预测方法。AlphaFold系统，是DeepMind在2017-2018年中一直在研究的项目，它建立在多年以前使用大量基因组数据来预测蛋白质结构的研究基础之上。 AlphaFold产生的蛋白质3D模型比以往任何一种都精确得多，在生物学的核心挑战之一上取得了重大进展。

来源：机器之心 DeepMind博客

序列到序列技术

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型，包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍，该模型是对 GPT 模型的直接扩展，在超出 10 倍的数据量上进行训练，参数量也多出了 10 倍。在性能方面，该模型能够生产连贯的文本段落，在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下，能够做到初步的阅读理解、机器翻译、问答和自动摘要。

来源：OpenAI博客

Infor机构

Infor是一家跨国企业软件公司，总部设在美国纽约市。Infor专注于通过云计算作为服务交付给组织的业务应用。最初专注于从财务系统和企业资源规划(ERP)到供应链和客户关系管理的软件， Infor在2010年开始专注于工业利基市场的软件，以及用户友好的软件设计。Infor通过Amazon Web Services和各种开源软件平台部署云应用。

www.infor.com