伯克利尤洋博士论文《快速机器学习训练算法》
过去的十年见证了深度学习 (DL) 应用数据量的巨大增长。因此,深度神经网络 (DNNs) 的训练时间过长已经成为机器学习 (ML) 开发者和研究者的瓶颈。例如,在 8 个 P100 gpu 上完成 90-epoch ImageNet/ResNet-50 的训练需要 29 个小时。在 16 个 v3 TPU 芯片上完成 BERT 预训练需要 81 小时。本文主要研究的是快速准确的 ML 训练。尽管生产团队希望充分利用超级计算机来加速训练过程,但传统的优化器无法扩展到数千个处理器。在本论文中,我们设计了一系列基本的优化算法来提高 DL 系统的并行度。我们的算法为谷歌、英特尔、腾讯、英伟达等最先进的分布式系统提供支持。本文的重点是弥合高性能计算 (HPC) 和 ML 之间的差距。