据外媒报道，近日，谷歌大脑团队发布长达 29 页新论文「Switch Transformer：简单而有效的稀疏度缩放到万向参数模型」论文介绍该模型是自然语言学习器，一种「稀疏激活」技术，仅使用模型权重的子集或在模型中转换输入数据的参数能够训练包含超过一万亿参数的语言模型，并且相对于密集的 T5 基线，这些模型可实现大幅提速。