Transformer 是一种强大的序列模型，但是它所需的时间和内存会随着序列长度出现二阶增长。近日，OpenAI 的研究人员开发出一种深度神经网络 Sparse Transformer，该网络在预测长序列方面创造了新纪录——无论预测的是文本、图像还是声音。该神经网络利用注意力机制中的一种改进算法，可以从长度可能是之前30倍的序列中提取模式。