11月25日消息,在最新的中文语言理解领域权威榜单CLUE中,阿里AI以86.685的总分成绩创造了新纪录,这是该榜单诞生近三年以来,AI首次超越人类成绩(86.678),意味着AI模型的中文语言理解水平达到了新的高度。此次参评的AI模型为阿里通义大模型系列的AliceMind(以下简称“阿里通义AliceMind”), 其基础模型已在ModelScope平台(魔搭,https://modelscope.cn)开放。
CLUE最新榜单:阿里通义AliceMind总分超越人类成绩
作为业界最权威的中文自然语言理解榜单之一,CLUE从文本分类、阅读理解、自然语言推理等9项任务中全面考核AI模型的语言理解能力。过去三年,该榜单吸引了众多国内顶尖NLP团队的参与,尽管榜首位置多次易主,但参评AI模型一直未能超越人类成绩。根据最新的结果,阿里通义AliceMind在4项任务中的表现超过人类水平,同时实现了总榜平均分的首次超越。
中文语言理解是AI业界亟待攻克的难题之一。为提升AI模型对词语、句子以及语言整体的理解力,在预训练阶段,达摩院沿用超大规模模型训练所使用的海量高质量中文文本,同时对模型结构和训练技术进行了一系列优化,如使用激活函数GLU、字词混合的大词表等获得更强的文本建模能力,使用StrongHold训练加速技术缩短迭代周期、节约算力成本,进而获得性能的显著提升。在精调阶段,面对文本分类、阅读理解、自然语言推理等下游任务,达摩院采用了迁移学习、数据增强、特征增强等技术,进一步提升模型表现。
以CLUE榜单的CHID成语阅读理解填空任务为例,该任务需要AI模型选出正确的成语进行填空。阿里通义AliceMind可通过海量文本数据的学习达到“博闻强识”的效果,在预训练阶段掌握选词填空所依赖的语义理解能力,并将其进行成语数据的领域迁移训练,最终模型在测试任务中的成绩远超人类。
作为最早投入预训练语言模型研究的团队之一,达摩院研发了阿里通义AliceMind,该体系涵盖预训练模型、多语言预训练模型、超大中文预训练模型等,具备阅读理解、机器翻译、对话问答、文档处理等多种能力,该模型体系已斩获36项冠军。目前,相关技术已应用于医疗、电商、法律等领域,在跨境电商领域,达摩院的机器翻译系统能提供214种语言的互译服务,每天为国内200万中小商家翻译上亿文字,助力国货走向全世界。