Michael Jordan论文:少于单次通过,随机受控的随机梯度方法

7.jpg

摘要

我们为基于梯度的优化开发并分析了一套程序,我们称之为随机受控的随机梯度(SCSG: stochastically controlled stochastic gradient)。作为 SVRG 算法家族的一员,SCSG 利用梯度在两个级别上估算。与这家族已有的其他算法不同,SCSG 的计算成本和通信成本不需要线性扩展样本量 n;事实上,当目标精确度较低时,这些成本是独立于 n 的。一个在 MNIST 数据集上的 SCSG 的试验评估显示:只需要带有 2.6 MB 内存的日常所用的机器和 8 次磁盘访问,它就能在这个数据集上生成精确的结果。

论文地址:Less than a Single Pass: Stochastically Controlled Stochastic Gradient Method

理论论文最优化理论Michael JordanSGD
暂无评论
暂无评论~