莫斯科物理技术研究所近日发表了一篇名为「多点优化损失函数地图全局描述」的研究。在文中，研究团队提出了多点优化：一种可以同时训练多个模型，而无需单独保留每个模型的参数的优化技术。该方法用于对神经网络的损失情况进行全面的经验分析。通过 FashionMNIST 和 CIFAR10 数据集上进行的广泛实验，研究团队有了以下两个发现：1）损失表面令人惊讶地具有多种多样且错综复杂的景观模式； 2）添加批归一化使其更加平滑。GitHub 传送门：bit.ly/2NKtKzW