近期的硬件发展实现了前所未有的数据并行化，从而加速神经网络训练。利用下一代加速器的最简单方法是增加标准小批量神经网络训练算法中的批大小。最近，谷歌大脑发表了一篇论文《Measuring the Effects of Data Parallelism on Neural Network Training》，旨在通过实验确定在训练阶段增加批大小的作用，评价指标是得到目标样本外误差所需的训练步数。最后，批大小增加到一定量将不再减少所需训练步数，但批大小和训练步数之间的确切关系对从业者、研究者和硬件设计人员来说非常重要。谷歌大脑研究不同训练算法、模型和数据集中批大小和训练步数之间关系的变化，以及工作负载之间的最大变化。该研究还解决了批大小是否影响模型质量这一问题。