对抗机器学习是一个机器学习与计算机安全的交叉领域。对抗机器学习旨在给恶意环境下的机器学习技术提供安全保障。由于机器学习技术一般研究的是同一个或较为稳定的数据分布，当部署到现实中的时候，由于恶意用户的存在，这种假设并不一定成立。比如研究人员发现，一些精心设计的对抗样本(adversarial example)可以使机器学习模型失败输出正确的结果。
描述来源：wiki
发展历史
在机器学习近些年越来越多的被使用到各种任务上的同时，也被发现存在同样多的弊端，例如不可解释性与对抗样本的存在。Szegedy等人在2013年首次提出对抗样本的存在以及生成方式之后，攻击与防御的方式已经经过几轮的迭代，从白盒到黑盒的攻击与防御。随着MLaaS的流行，另一种攻击方式：训练集毒化攻击——通过污染训练集来改变训练模型，也紧接被提出。对抗机器学习不仅是机器学习被更加广泛地被应用的一道坎，也是促使人们研究如何解释机器学习模型的动力。
主要事件
| 年份 | 事件 | 相关论文 |
| 2013 | Szegedy等人第一次提出对抗样本及生成算法L-BFGS | Szegedy C, Zaremba W, Sutskever I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013. |
| 2014 | Goodfellow等人提出快速梯度迭代方法生成对抗样本，并分析对抗样本产生原因与性质。 | Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014. |
发展分析
瓶颈
由于在机器学习可解释性方向上的局限性以及对对抗样本产生的根本原因的不理解，导致目前领域内更多处于一种攻防战的状态：攻击方不断提出能攻破最新防御方式的攻击，而防御方不断更新对最新攻击的防御模式。这种状态在理解对抗样本的产生原因之前较难打破。其次，目前攻击更多是在实验状态，而鲜有用于实际应用上的攻击实例，说明将其应用于真实世界的攻击中还有一些新的门槛。
未来发展方向
- 拓展原先只是生成图像判别器的对抗样本到别的网络或应用的对抗样本。
- 研究对抗样本的迁移性。
- 研究不同攻击模型下的防御（黑盒攻击，白盒攻击）。
Contributor: Yulong Cao