只需 10% 的 CIFAR10 标签,DeepMind 无监督对抗训练获得 SOTA 稳健精度
近日,来自 DeepMind 的研究团队更新了今年五月发表的名为「是否需要标签来提高对抗性的稳健性?」的论文,本次更新为该论文的第三版更新。以下是该研究的完整摘要:近期的研究发现一个有趣的现象,实现不受对抗性扰动的训练模型往往需要比标准分类所需大得多的数据集。这一现象成为了在需要昂贵数据标记的真实世界应用中部署稳定机器模型的主要障碍。研究团队认为,未标记的数据也可以成为标记数据的竞争替代品,来培训对抗性强的模型。理论来说,该研究展示了在一个简单的统计设置中,从未标记数据中学习一个对抗性强大模型的样本复杂度与完全受监督的案例达到恒定因素情况相匹配。在像 CIFAR10 这样的标准数据集上,使用该论文提出的未标记数据的简单无监督对抗训练(UAT)方法比单独使用 4K 监督示例提高了 21.7%的稳健精度,并从相同数量的标记示例中捕获了 95%以上的改进。最后,该研究报告显示,通过使用来自未经验证的 80 万个微小图像数据集的额外未标记数据,CIFAR-10 上的最新状态比最强的已知攻击提高了 4%。这同时也表明,该发现也延伸到更加现实的情况,其中未标记的数据也是不准确的,因此开辟了改善对抗性训练的新途径。