深度学习是一个计算密集型的任务。硬件供应商通过在大型计算集群中部署更快的加速器进而做出更快地应对。在 petaFLOPS（每秒一千万亿次的浮点运算）规模的设备上训练深度学习模型需要同时面对算法和系统软件两个方面的挑战。近日，Google 在 Arxiv 上发表论文《Image Classification at Supercomputer Scale》，推出一种大规模计算集群的图像分类人物训练解决方案，研究者使用谷歌 TPU v3 Pod 训练 ResNet-50，在识别率没有降低的情况下，仅花费 2.2 分钟，刷新了AI训练世界纪录。