神经网络新研究论文「刚度:理解神经网络泛化的新视角」
论文概要如下:「我们使用刚度的概念来研究神经网络训练和概括。我们通过查看一个示例中的小梯度步骤如何影响另一个示例的损失来测量网络的刚度。特别是,我们研究刚度如何随着 1)类成员,2)数据点之间的距离(在输入空间以及潜在空间中),3)训练迭代和 4)学习率而变化。我们使用完全连接和卷积神经网络凭经验研究 MNIST,FASHION MNIST,CIFAR-10 和 CIFAR-100 的刚度演变。我们的结果表明,刚度是诊断和表征泛化的有用概念。」