摘要
我们为基于梯度的优化开发并分析了一套程序，我们称之为随机受控的随机梯度（SCSG: stochastically controlled stochastic gradient）。作为 SVRG 算法家族的一员，SCSG 利用梯度在两个级别上估算。与这家族已有的其他算法不同，SCSG 的计算成本和通信成本不需要线性扩展样本量 n；事实上，当目标精确度较低时，这些成本是独立于 n 的。一个在 MNIST 数据集上的 SCSG 的试验评估显示：只需要带有 2.6 MB 内存的日常所用的机器和 8 次磁盘访问，它就能在这个数据集上生成精确的结果。
