来自斯坦福大学以及 Facebook 人工智能研究所的研究团队近日提出了一种分析预训练模型的注意机制并将其应用于 BERT 的方法。BERT 的注意力头表现出诸如参与分隔符标记，特定位置偏移或广泛参与整个句子的模式，同一层中的头部通常表现出类似的行为。研究团队进一步表明，某些注意头与语法和共指的语言概念能够很好地对应。例如，他们发现头部能够处理动词的直接对象，名词的确定者，介词的对象以及具有非常高精度的共同提及。最后，研究人员们提出了一种基于注意力的探测分类器，并用它来进一步证明在 BERT 的注意下捕获了大量的句法信息。