谷歌 DeepMind 近日发布新论文「双向编码器的句法结构提炼预训练」优化自然语言处理模型 BERT 的预训练阶段。论文概述如下：经过大量数据训练的文本表征学习模型在下游任务上取得显著成就，在语法能力的挑战性测试中也表现出色。然而像 BERT 这样的可扩展学习模型是否可以从更明确的语法偏见中受益。我们引入一种知识提炼策略，通过提炼分层句法语言模型的句法信息预测来向 BERT 预训练中注入句法偏见。我们的方法在各种结构化的预测任务上将相对误差减少了 2-21％。