谷歌开源大型有效训练深度神经网络库GPipe
谷歌的人工智能研究部门今日开源GPipe,这是一个用于“有效”训练深度神经网络(在神经元之后建模的分层函数)的文库,它是用于序列建模的TensorFlow框架,且适用于由多个连续层组成的任何网络,谷歌人工智能软件工程师Yanping Huang在博客文章中补充道,该开源文库同时还允许研究人员“轻松”地扩展性能。论文中称,“深度神经网络(DNN)已经推进了许多机器学习任务,包括语音识别,视觉识别和语言处理。 更大的DNN模型带来更好的任务表现,而视觉识别任务的过去进展也显示出模型大小和分类准确性之间的强相关性,“他补充说。 “在GPipe中我们展示了使用管道并行性来扩展DNN训练以克服这一限制。”