2020/06/24 10:26

LTP 4.0！单模型完成6项自然语言处理任务

背景

语言技术平台（Language Technology Platform, LTP）是哈工大社会计算与信息检索研究中心（HIT-SCIR）历时多年研发的一整套高效、高精度的中文自然语言处理开源基础技术平台。

该平台集词法分析（分词、词性标注、命名实体识别）、句法分析（依存句法分析）和语义分析（语义角色标注、语义依存分析）等多项自然语言处理技术于一体。其中句法分析、语义分析等多项关键技术多次在CoNLL国际评测中获得了第1名。此外，平台还荣获了2010年中国中文信息学会科学技术一等奖、2016年黑龙江省科技进步一等奖。

目前，LTP已被包括清华大学、北京大学、CMU等国内外众多大学及科研机构在内的600余家研究单位签署协议使用。同时，向百度、腾讯、华为、讯飞等多家知名公司收费授权。

GitHub的星标达2500余个，Fork数750余个。有效解决了自然语言处理技术入行门槛高，准确率、效率偏低，缺少共享数据和程序资源，重复开发现象严重，结果可视化差，错误分析困难，较难真正支持各类应用研究等众多问题。

特色

哈工大SCIR本科生冯云龙等同学在车万翔教授指导下，于近日对LTP进行了新一轮的全面升级，并推出了LTP 4.0版本。此次升级的主要改进为：

基于多任务学习框架进行统一学习，使得全部六项任务可以共享语义信息，达到了知识迁移的效果。既有效提升了系统的运行效率，又极大缩小了模型的占用空间
基于预训练模型进行统一的表示，有效提升了各项任务的准确率
基于教师退火模型蒸馏出单一的多任务模型，进一步提高了系统的准确率
基于PyTorch框架开发，提供了原生的Python调用接口，通过pip包管理系统一键安装，极大提高了系统的易用性

性能

下表列出了新旧版LTP在精度、效率和模型大小方面的对比：

为了模型的小巧易用，本次发布的版本基于哈工大讯飞联合实验室发布的中文 ELECTRA Small 预训练模型。后续将陆续发布基于不同预训练模型的版本，从而为用户提供更多准确率和效率平衡点的选择。

测试环境如下：

Python 3.7
LTP 4.0 Batch Size = 1
CentOS 3.10.0-1062.9.1.el7.x86_64
Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz

备注：速度数据在人民日报命名实体测试数据上获得，速度计算方式均为所有任务顺序执行的结果。另外，语义角色标注与语义依存新旧版采用的语料不相同，因此无法直接比较（新版语义依存使用SemEval 2016语料，语义角色标注使用CTB语料）。

使用

新版LTP采用原生Python实现，仅需运行 pip install ltp 即可安装使用。调用方式：

from ltp import LTP
ltp = LTP() # 默认自动下载并加载 Small 模型
segment, hidden = ltp.seg(["他叫汤姆去拿外衣。"])
pos = ltp.pos(hidden)
ner = ltp.ner(hidden)
srl = ltp.srl(hidden)
dep = ltp.dep(hidden)
sdp = ltp.sdp(hidden)

欢迎访问http://ltp.ai/，获取平台的源代码、模型及更详细的介绍信息，敬请提出反馈意见。

哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

产业自然语言处理

相关技术

机器学习物体识别深度学习人脸识别图像分割

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

语义分析技术

语义分析是编译过程的一个逻辑阶段，语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查，进行类型审查。语义分析是审查源程序有无语义错误，为代码生成阶段收集类型信息。比如语义分析的一个工作是进行类型审查，审查每个算符是否具有语言规范允许的运算对象，当不符合语言规范时，编译程序应报告错误。如有的编译程序要对实数用作数组下标的情况报告错误。又比如某些程序规定运算对象可被强制，那么当二目运算施于一整型和一实型对象时，编译程序应将整型转换为实型而不能认为是源程序的错误。

来源：百度百科

词性标注技术

词性标注是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程。

来源：Wikipedia

词法分析技术

词法分析是计算机科学中将字符序列转换为标记序列的过程。进行词法分析的程序或者函数叫作词法分析器，也叫扫描器。词法分析器一般以函数的形式存在，供语法分析器调用

来源：维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

命名实体识别技术

命名实体识别（NER）是信息提取（Information Extraction）的一个子任务，主要涉及如何从文本中提取命名实体并将其分类至事先划定好的类别，如在招聘信息中提取具体招聘公司、岗位和工作地点的信息，并将其分别归纳至公司、岗位和地点的类别下。命名实体识别往往先将整句拆解为词语并对每个词语进行此行标注，根据习得的规则对词语进行判别。这项任务的关键在于对未知实体的识别。基于此，命名实体识别的主要思想在于根据现有实例的特征总结识别和分类规则。这些方法可以被分为有监督（supervised）、半监督（semi-supervised）和无监督（unsupervised）三类。有监督学习包括隐形马科夫模型（HMM）、决策树、最大熵模型（ME）、支持向量机（SVM）和条件随机场（CRF）。这些方法主要是读取注释语料库，记忆实例并进行学习，根据这些例子的特征生成针对某一种实例的识别规则。

来源：David, N. & Satoshi, S. (2007). A survey of named entity recognition and classification

依存句法分析技术

依存句法分析的过程是分析句子的语法结构，建立“头”单词和修改这“头”单词的单词之间的关系。

来源：/nlp.stanford

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

百度智能云机构

百度是全球最大的中文搜索引擎，是一家互联网综合信息服务公司，更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村，公司创始人李彦宏拥有“超链分析”技术专利，也使中国成为美国、俄罗斯、和韩国之外，全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com