在论文《ERNIE：Enhanced Language Representation with Informative Entities》中，作者利用大规模文本语料库和知识图谱来训练一个增强语言表示模型（ERNIE），该模型可以同时充分利用词汇、句法和知识信息。实验结果证明 ERNIE1 在各种知识驱动的任务中实现了效果的显著提升，同时，在其他常见的 NLP 任务中和最先进的模型 BERT 不相上下。