神经网络通过分析大量训练数据来学习，执行计算任务的神经网络已经在人工智能领域取得了令人印象深刻的进展，其中包括语音识别和自动翻译系统。然而，在训练期间，神经网络不断地调整其内部参数，这其中的一切是如何发生的，甚至连网络的构造者也无法解释。这使得生成神经网络对抗样本成为了许多学者研究的课题。在 2017 年 11 月，麻省理工学院的研究者们在这一领域中屡次取得突破性的进展。
为什么神经网络对抗样本的问题令人如此关注？除了其理论上的意义，神经网络的「黑箱问题」带来的潜在安全漏洞是不容忽视的。对于已经采用神经网络图像识别来进行安防保密工作的系统来说，神经网络对抗样本证明，外部入侵者可以通过利用神经网络的漏洞来欺骗这些安防系统。甚至仅仅通过修改少数的像素，就能够使得神经网络得出完全不同的识别结果。
在 2017 年 11 月初，MIT 计算机科学与人工智能实验室的研究人员展示了如何通过 3D 打印的物体来愚弄神经网络。通过一个 3D 打印的物体，他们不仅能使得神经网络认为枪不再是一把枪，甚至可以让神经网络把物理对象分类为任何他们想要的东西。 在实际应用中，国防入侵这可以通过稍微改变物体的质地，使一个炸弹被归类为番茄，甚至使物体完全不可见。
在 11 月底，研究人员们进一步开发出一种新的神经网络对抗样本生成算法，其速度比此前常见的方法快了 1000 倍。以谷歌的 Cloud Vision API 为例，他们可以将狗的形象转化为两人滑雪的照片，而图像识别系统仍将图片归类为狗。 该团队表示，这一方法同样适用于 Facebook 和其他公司的图像识别 API。
这一进展意味着，目前被广泛商业应用的图像识别神经网络将受到现实的挑战。在 2017 年，Facebook、Twitter 和 Youtube 等公司都在各方压力下加强了对内容的过滤机制，其中就大量应用了图像识别和视频识别的神经网络。如果相关黑客和不法分子能够利用这些神经网络的漏洞，并快速精确地生成能够逃过审查机制的图像和视频，这些拥有最尖端技术的互联网公司的安全体系将受到质疑。
面对这种潜在的危险，MIT 的研究者们也在同时加强对神经网络本身的理解。一个研究组提出了一中新型的研究神经网络的技术，使得他们得出了一些新的结论。同时，利用这种技术，他们重新训练的翻译神经网络准确度提高 了3％。 这并不是一个巨大的改进，但是这说明通过更加了解神经网络的内部运作特征，使用者可以让神经网络的准确度更高，同时提高其商业应用的安全性。
