将黑暗森林理论应用到机器学习，提升模型的稳健性

本文编译自英伟达深度学习社区经理（Deep Learning Community Manager）Leo K. Tam 的 GitHub 博客文章。他的 GitHub 页面：https://github.com/leotam。

在刘慈欣的小说《黑暗森林》中，他基于外星文明接触的三个基本公理引入了一个对费米悖论的解决方案。

1. 宇宙是一片有许多文明栖居的黑暗森林，彼此不知道对方的存在位置；

2. 每个有能力进行星际旅行的文明都经历过（指数式的）技术爆发；

3. 一旦发现另一文明，该文明必须消灭所发现的种群，因为害怕该法则（2），也害怕自己被超越而被摧毁；

只需要最小的调整，就可以将法则应用于对抗机器学习，就是：

1. 当机器学习模型暴露时，要受对抗探索（adversarial probing）的支配，参考论文：Intriguing properties of neural networks。

2. 当机器学习模型服从对抗探索时，有可能会改进该模型的稳健性，参考论文：Explaining and Harnessing Adversarial Examples。

3. 通过探索，可能增加类似模型的稳健性，参考论文：Explaining and Harnessing Adversarial Examples  或 Generative Adversarial Nets。

这让我们得到了一种机器学习的黑暗森林均衡（Dark Forest equilibrium）。 要了解对抗博弈论（adversarial game theory）的基本知识，请参阅约翰·纳什的理论。

机器学习世界也服从黑暗森林的情景。被超大规模网页公司（谷歌、百度、雅虎、腾讯等）所使用的网页爬虫成为网络空间中搜寻机器学习模型的捕猎者。在发现机器学习模型时，它们合理的处理方式是从该模型对抗性地挖掘信息，从而增强自己模型的稳健性。

在黑暗森林情景中生存有两种解决方案。第一个明显的解决方案就是孤立（isolation），也就是每个公司部署一个内部机器学习模型。第二种解决方案是旅行者（traveler）模型，也就是通过对网络的积极学习（重复训练）不断调整参数。

注意，Ian Goodfellow 提到过这个并非完美的，因为不是每个模型都会有冲突。