谷歌推出 Evolved Transformer,将 AutoML 应用于 Transformer 架构
为了探索 AutoML 在序列域中的应用是否能够取得的成功,谷歌的研究团队在进行基于进化的神经架构搜索(NAS)之后,使用了翻译作为一般的序列任务的代理,并找到了 Evolved Transformer,这一新的 Transformer 架构。它展示了对各种自然语言处理(NLP)任务的有前景的改进。Evolved Transformer 不仅实现了最先进的翻译结果,与原始的 Transformer 相比,它还展示了语言建模的改进性能。研究人员将这个新模型作为 Tensor2Tensor 的一部分发布,它可以用于任何序列问题。