1+1>2 : 剑桥&Uber提出高斯深度神经网络
由于具有出色的表征能力,深度神经网络(DNN)被用作许多任务的分类器。然而,它们在现实世界中不那么鲁棒,这不仅体现在无法捕捉数据的不确定性,同时还因为在向外扩展时过于自信,没有注意到领域的变化。另一方面,具有RBF核的高斯过程(GP)具有更好的校准不确定性,并且不会过于自信地从训练集中的数据向外扩展。然而,高斯过程的表征能力很差,在复杂领域的表现不如深度神经网络。在论文《Adversarial Examples, Uncertainty, and Transfer Testing Robustness in Gaussian Process Hybrid Deep Networks》中,作者展示了GP与DNN的混合网络——GPDNN(把GP加到DNN上并进行端到端的训练),它继承了GP和DNN的优良特性,对对抗样本更加鲁棒。