近日，CMU、北大和 MIT 的研究者发表论文《Gradient Descent Finds Global Minima of Deep Neural Networks》，该论文证明了对于具有残差连接的深度超参数神经网络（ResNet），梯度下降可以在多项式时间内实现零训练损失。研究者的分析依赖于神经网络架构引入的格拉姆矩阵的多项式结构。这种结构帮助研究者证明格拉姆矩阵在训练过程中的稳定性，而且这种稳定性意味着梯度下降算法的全局最优性。