Google AI: 使用 ELECTRA 进行更有效的 NLP 模型预训练
语言预训练的最新进展已在自然语言处理领域取得了可观的成就,其中包括诸如 BERT,RoBERTa,XLNet,ALBERT 和 T5 等最新模型。Google AI 本周三发博表示,在其新论文《ELECTRA:将文本编码器作为标识符而不是生成器进行预训练》中,研究人员采用了另一种方法进行语言预训练,该方法保持了 BERT 的优点,但学习效率更高。ELECTRA 是一种新颖的预训练方法,比如,ELECTRA 可以使用仅仅四分之一的算力就可以在 GLUE 自然语言理解基准上达到 RoBERTa 和 XLNet 的性能,并在 SQuAD 问答基准上获得了最优的结果。ELECTRA 出色的效率意味着即使在小规模的情况下也能很好地运行。ELECTRA 已作为 TensorFlow 之上的开源模型发布,其中包括许多易于使用的预训练语言表示模型。