Try Pro!
阅读
最新
知识
产业
深度
专栏
SOTA
产业对接平台
登录
行业内参
AI Daily
AI Daily 快讯 · 2021/01/13
谷歌大脑新技术 Switch Transformer 可训练万亿参数 AI 语言模型
据外媒报道,近日,谷歌大脑团队发布长达 29 页新论文「Switch Transformer:简单而有效的稀疏度缩放到万向参数模型」论文介绍该模型是自然语言学习器,一种「稀疏激活」技术,仅使用模型权重的子集或在模型中转换输入数据的参数能够训练包含超过一万亿参数的语言模型,并且相对于密集的 T5 基线,这些模型可实现大幅提速。
登录
后评论
暂无评论~
返回顶部