邱锡鹏团队作者

复旦邱锡鹏团队最新成果fastHan:基于BERT的中文NLP集成工具

fastHan 是基于 fastNLP 与 PyTorch 实现的中文自然语言处理工具,像 spacy 一样调用方便,其内核为基于 BERT 的联合模型。
简介

fastHan 是基于 fastNLP 与 PyTorch 实现的中文自然语言处理工具,像 spacy 一样调用方便。其内核为基于 BERT 的联合模型,其在 13 个语料库中进行训练,可处理中文分词、词性标注、依存句法分析、命名实体识别四项任务。

fastHan 共有 base 与 large 两个版本,分别利用 BERT 的前四层与前八层。base 版本在总参数量 150MB 的情况下各项任务均有不错表现,large 版本则接近甚至超越 SOTA 模型。

项目地址:https://github.com/fastnlp/fastHan

安装

fastHan 的安装非常简便。它存在如下包的依赖:

fastNLP>=0.5.0
pytorch>=1.0.0

执行指令 pip install fastHan 即可安装。

使用

fastHan 的使用非常简单,只需要两步:加载模型、输入句子。

加载模型

执行以下代码即可加载模型:

用户首次初始化模型时模块将自动从服务器下载参数。模型默认初始化 base 版本,可修改 model_type 参数值为’large’加载 large 版本。

输入句子

输入模型的可以是单独的字符串,也可是由字符串组成的列表。如果输入的是列表,模型将一次性处理所有输入的字符串,所以请自行控制 batch size。模型对句子进行依存分析、命名实体识别的简单例子如下:


其中,target 参数可在 'Parsing'、'CWS'、'POS'、'NER' 四个选项中取值,模型将分别进行依存分析、分词、词性标注、命名实体识别任务, 模型默认进行 CWS 任务。其中词性标注任务包含了分词的信息,而依存分析任务又包含了词性标注任务的信息。命名实体识别任务相较其他任务独立。

模型的输出是在 fastHan 模块中定义的 sentence 与 token 类。模型将输出一个由 sentence 组成的列表,而每个 sentence 又由 token 组成。每个 token 本身代表一个被分好的词,有 pos、head、head_label、ner 四项属性,代表了该词的词性、依存关系、命名实体识别信息。

如果分别运行 CWS、POS、Parsing 任务,模型输出的分词结果等可能存在冲突。如果想获得不冲突的各类信息,可以直接运行包含全部所需信息的那项任务。

模型的 POS、Parsing 任务均使用 CTB 标签集。NER 使用 msra 标签集。

正如上图所示,模型基础的使用流程非常简单。此外,模型还可调整分词风格、切换设备。

调整分词风格

模型在 13 个语料库中进行训练,其中包含 10 个分词语料库。不同语料库的分词粒度均不同,如本模型默认的 CTB 语料库分词粒度较细。如果想切换不同的粒度,可以使用模型的 set_cws_style 函数,例子如下:

在分词风格中选择 'as'、'cityu' 可进行繁体字分词,这两项为繁体语料库。由于各项任务共享词表、词嵌入,这意味着即使不切换模型的分词风格,模型对繁体字也具有执行分词及其他任务的能力。此外,模型对数字、英文字母也具有一定的识别能力。

切换设备

可使用模型的 set_device 函数,令模型在 cuda 上运行或切换回 cpu,示例如下:

模型表现

模型在以下数据集进行测试和训练:
  • CWS:AS、CITYU、CNC、CTB、MSR、PKU、SXU、UDC、WTB、ZX

  • NER:MSRA、OntoNotes

  • POS & Parsing:CTB9

注:模型在训练 NER OntoNotes 时将其标签集转换为与 MSRA 一致。

最终模型在各项任务中取得的 F 值如下:

表格中单位为百分数。CWS 的成绩是 10 项任务的平均成绩。Parsing 中的两个成绩分别代表 F_{ldep} 和 F_{udep}。SOTA 模型的数据来自笔者对网上资料及论文的查阅,如有缺漏请指正,不胜感激。这五项 SOTA 表现分别来自如下五篇论文:

[1] Huang W, Cheng X, Chen K, et al. Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning.[J]. arXiv: Computation and Language, 2019.

[2] Hang Yan, Xipeng Qiu, and Xuanjing Huang. "A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing." Transactions of the Association for Computational Linguistics 8 (2020): 78-92.

[3] Meng Y, Wu W, Wang F, et al. Glyce: Glyph-vectors for Chinese Character Representations[J]. arXiv: Computation and Language, 2019.

[4] Diao S, Bai J, Song Y, et al. ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations[J]. arXiv: Computation and Language, 2019.

[5] Jie Z, Lu W. Dependency-Guided LSTM-CRF for Named Entity Recognition[C]. international joint conference on natural language processing, 2019: 3860-3870.

更多关于模型结构、模型训练的信息,未来将在项目网站中进行更新。

知乎链接:https://zhuanlan.zhihu.com/p/147665538?utm_source=wechat_session&utm_medium=social&utm_oi=56560353017856
工程BERT中文NLP邱锡鹏
暂无评论
暂无评论~