Yoshua Bengio论文:Mollifying Networks

6.jpg

摘要

深度神经网络的优化要比传统的凸优化问题(convex optimization problem)更具挑战性,这是由于损失函数的高度非凸特性,比如:其可能涉及鞍表面(saddle-surface)这样的病理学图景(pathological landscapes),而鞍表面对基于简单梯度下降的算法来说是难以逃逸(escape)的。在这篇论文中,我们通过从一个平滑的——即 mollified ——目标函数开始尝试解决高度非凸的神经网络的优化问题,该目标函数会随训练过程变得越来越复杂。我们提议的方法受到了最近的延拓法(continuation method)研究的启发,该方法类似于课程方法(curriculum method)——我们开始时学习一个更轻松(可能是凸的)目标函数,然后让其在训练过程中进化,直到它最终变回原来的难以优化的目标函数。mollified network 的复杂性受控于训练过程中退火的(annealed)的单个超参数。我们的结果在多种不同的优化任务上实现了提升,并将用于神经网络的延拓法和 mollifier 两者的最近成果联系了起来。


论文地址:Mollifying Networks

本文由机器之心编译出品,原文来自 arXiv.org,作者:Caglar Gulcehre, Marcin Moczulski, Francesco Visin, Yoshua Bengio,转载请查看要求,机器之心对于违规侵权者保有法律追诉权。

理论
登录后评论
暂无评论
暂无评论~
返回顶部