为了教会算法更好地理解人类语言的歧义现象，斯坦福教授、IJCAI 卓越研究奖得主 Yoav Shoham 创办的公司 AI21 Labs 今日发布论文《SenseBERT: Driving Some Sense into BERT》，提出一种能够显著提升词汇消歧能力的新模型，该模型在复杂的 Word in Context (WiC) 语言任务中取得了当前最优结果。这篇论文的重要创新是，SenseBERT 不仅能够预测遮蔽词汇（masked word），还能预测它们在给定语境下的实际含义。AI21 Labs 的研究人员使用英语词汇数据库 WordNet 作为标注参照系统，设计了一个网络来预测单词在语境中的实际含义。然后将该预训练网络嵌入 BERT。