参与王淑婷 张倩

NIPS 2018对抗视觉挑战赛结果公布:CMU邢波团队包揽两项冠军

今日,NIPS 2018 对抗视觉挑战赛结果公布。本次比赛共分为三个单元:防御、无针对性攻击和有针对性攻击。CMU 邢波团队包揽两项冠军,另一项冠军则由来自加拿大的 LIVIA 团队斩获,清华 TSAIL 团队获得「无针对性攻击」的亚军。本文介绍了这些团队的方法大纲,不过具体细节将在 12 月 7 日 9:15–10:30 举办的 NIPS Competition 研讨会上揭晓。

今天,NIPS 2018 对抗视觉挑战赛(NIPS Adversarial Vision Challenge 2018)结果公布,超过 400 个参赛团队提交了 3000 多个模型和攻击方法。今年的比赛聚焦于真实世界的场景,攻击对模型的访问量很小(每个样本至多 1000 个)。模型仅返回它们给出的最终结果而不是梯度或置信度分数。这种做法模拟了部署机器学习系统面临的典型威胁场景,有望推进基于决策的高效攻击方法的发展,也有利于构建更加鲁棒的模型。

CrowdAI 平台上已完成的 model track。

所有获奖者的表现至少比标准基线(如从普通模型或普通边界攻击(Boundary attack)迁移)好一个数量级(根据 L2 扰动的中值大小计算)。我们向每个比赛(防御、无针对性攻击、针对性攻击)的前三名要了他们方法的大纲。获奖者将在 12 月 7 日 9:15–10:30 举办的 NIPS Competition 研讨会上展示其方法。

攻击赛道获奖者的共同主题是边界攻击的低频版本以及不同防御方法组合起来作为替代模型。在 model track 中,获奖者使用了一种新的鲁棒模型方法(细节恐怕要等到研讨会才能知晓)以及一种用于对抗训练的基于梯度的新迭代 L2 攻击。在之后的几周,我们将再次发帖,公布更多结果细节,包括针对防御模型生成的对抗样本的可视化。获奖团队将在几周后公布。

防御

  • 第一名:Petuum-CMU 团队 (91YXLT 参与竞赛)

  • 作者:Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献),分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。

  • 为了学习对对抗样本鲁棒的深度网络,作者分析了对对抗样本鲁棒的模型的泛化性能。基于其分析,作者提出了新的公式来学习具有泛化和鲁棒性保证的鲁棒模型。


  • 第二名:Wilson 团队(目前尚未收到该团队的回复)


  • 第三名:LIVIA 团队(Jerome R 榜上有名)

  • 作者:Jérôme Rony & Luiz Gustavo Hafemann,来自加拿大蒙特利尔魁北克高等技术学院(ETS Montreal,Canada)

  • 作者用提出的基于梯度的新迭代 L2 攻击(解耦方向和范数——Decoupled Direction and Norm,DDN)训练了一个鲁棒的模型,这种攻击速度够快,可以在训练中使用。在每个训练步骤中,作者找到一个接近决策边界对抗样本(使用 DDN),并最小化这个例子的交叉熵。模型架构没有变化,也没有对推理时间产生任何影响。

无针对性攻击

  • 第一名:LIVIA 团队(Jerome R 榜上有名)

  • 作者:Jérôme Rony & Luiz Gustavo Hafemann,来自加拿大蒙特利尔魁北克高等技术学院

  • 该攻击方法基于众多代理模型(包括用作者提出的新攻击方法——DDN 训练的鲁棒模型)。对于每个模型,作者选择两个方向来攻击:原始类别的交叉熵损失梯度,以及通过运行 DDN 攻击给出的方向。对于每个方向,作者对范数进行二进制搜索,以找到决策边界。作者采取最好的攻击,并通过《Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models》中的边界攻击(boundary attack)方法来改进它。


  • 第二名:TSAIL 团队 (csy530216 榜上有名)

  • 作者:Shuyu Cheng & Yinpeng Dong

  • 作者使用一种启发式搜索算法来改进对抗样本,这与边界攻击方法类似。BIM 攻击使用了《Adversarial Logit Pairing》中的基线来迁移,从而找到了起点。在每次迭代中,随机扰动是从具有对角协方差矩阵高斯分布中采样的,该矩阵由过去的成功试验进行更新以模拟搜索方向。作者将扰动限制在 64*64*3 图像的中心 40*40*3 区域内。其首先生成一个 10*10*3 的噪声,然后使用双线性插值将其调整到 40*40*3。限制搜索空间让算法变得更高效。


  • 第三名:Petuum-CMU 团队 (91YXLT 榜上有名)

  • 作者:Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献),分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。

  • 作者在来自 Foolbox 的几个距离测量度量下集成了不同的鲁棒模型和不同的对抗攻击方法,以生成对抗扰动。此外,他们选择了在不同距离度量下攻击鲁棒模型时最小化最大距离的最佳攻击方法。

有针对性攻击

  • 第一名:Petuum-CMU 团队(91YXLT 榜上有名)

  • 作者:Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献),分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。

  • 作者根据 Foolbox 集成了不同的鲁棒模型和不同的对抗样本方法来生成对抗扰动。他们发现集成方法使得目标攻击模型对于各种鲁棒模型变得更加有效。


  • 第二名:fortiss 团队(ttbrunner 榜上有名)

  • 作者:Thomas Brunner & Frederik Diehl, 来自德国 Fortiss GmbH 研究所

  • 该攻击方法与边界攻击类似,但不是从随机正态分布中采样。此外,作者采用迁移良好且不易被防御者过滤的低频模式。作者还使用替代模型的投影梯度作为采样的先验。通过这种方式,他们将两者(PGD 和边界攻击)的优点结合成一种灵活又采样高效的攻击方法。


  • 第三名:LIVIA 团队(JeromeR 榜上有名)

  • 作者:Jérôme Rony & Luiz Gustavo Hafemann,来自加拿大蒙特利尔魁北克高等技术学院

  • 该攻击方法基于众多代理模型(包括用 DNN 训练的鲁棒模型)。对于每个模型,作者选择两个方向来攻击:目标类别的交叉熵损失梯度,以及通过运行 DDN 攻击给出的方向。对于每个方向,作者对范数进行二进制搜索,以找到决策边界。作者采取最好的攻击,并通过边界攻击方法来改进它。

原文链接:https://medium.com/bethgelab/results-of-the-nips-adversarial-vision-challenge-2018-e1e21b690149

工程计算机视觉Ian Goodfellow对抗样本邢波CMU
2
相关数据
槃腾机构

槃腾科技是为企业提供AI的软件基础架构和生态系统提供商。 Petuum的操作系统为用户提供了一个集成式的AI平台,可以让用户使用大量数据构建任何机器学习或深度学习应用程序,并将其大规模部署在任何硬件上,例如工作站,数据中心,物联网和边缘计算等。

范数技术

范数(norm),是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,是一个函数,其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。

交叉熵技术

交叉熵(Cross Entropy)是Loss函数的一种(也称为损失函数或代价函数),用于描述模型预测值与真实值的差距大小

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用,正态分布在统计学上非常重要。中心极限定理表明,由一组独立同分布,并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成,因而往往也具有正态分布。

迭代 技术

模型的权重在训练期间的一次更新。迭代包含计算参数在单个批量数据上的梯度损失。

协方差矩阵技术

在统计学与概率论中,协方差矩阵(也称离差矩阵、方差-协方差矩阵)是一个矩阵,其 i, j 位置的元素是第 i 个与第 j 个随机向量(即随机变量构成的向量)之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。

决策边界技术

在具有两类的统计分类问题中,决策边界或决策曲面是一个超曲面,它将底层的向量空间分成两组,每组一个。分类器会将决策边界一侧的所有点分为属于一个类,而另一侧属于另一个类。也即二元分类或多类别分类问题中,模型学到的类别之间的分界线。

启发式搜索技术

计算机科学的两大基础目标,就是发现可证明其运行效率良好且可得最佳解或次佳解的算法。而启发式算法则试图一次提供一个或全部目标。例如它常能发现很不错的解,但也没办法证明它不会得到较坏的解;它通常可在合理时间解出答案,但也没办法知道它是否每次都可以这样的速度求解。

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本,它们看上去与真实样本的几乎相同(无法用肉眼分辨),但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

推荐文章
暂无评论
暂无评论~