思、Racoon作者

Transformer自动纠语法、改论文,我们试了试这个免费英文写作新神器

网易有道词典新增 AI 作文批改,词汇、语法、结构面面俱到,我觉得我的英文论文有救了。


在当前疫情下,我们已经离不开居家学习了,各种备考也得提到日程上。机器之心的读者大多数都是理科生,数学、计算机都还是有一些「天赋」。然而对于英语,貌似这些天赋帮不到我们什么,缺乏「语感」的我们在写作文时经常会犯一些拼写、语法错误。

英语阅读或听力等其它部分还好,有比较标准的对错判断标准。但是对于作文,很可能写了错误句子,我们还真以为它完全没问题。

也许小伙伴们正在备考四六级或托福雅思,也许正在写机器学习论文,这篇文章将介绍有道词典中的 AI 作文批改,将我们写的英文传到 APP 上,它将自动批改打分,并且纠正我们的语法、拼写等错误。

AI 作文批改功能已经放到了最新版本的有道词典 APP 中,我们先试用了一下雅思作文与 arXiv 上的论文。如下左边是雅思作文,它会给作文整体打一个分数,并通过点评告诉你哪些地方需要加强,例如词汇的丰富度、逻辑的连贯性等等。对于我们比较关心的语法,AI 作文批改也会给出修改意见,例如「environment」就推荐改成「environmental」。


此外,很多研究者都需要做实验写论文,然而机器学习领域的论文基本都是英文,按我们的思路写完论文后,中间会存在很多细节问题。如上机器之心在上传一段 arXiv 论文后,AI 作文批改确实能给出一些很好的修改建议。例如它让我们将「On the other hand」子句独立出来,确实在结构上有更好的可读性。

这么好的应用已经做出来了,而且还是免费的,有英文作文修改需求的小伙伴还不赶快打开有道词典,体验白嫖的快乐~

那么问题来了,要实现 AI 作文批改,它的思路、原理又是什么样的?

看思路,自动批改怎么解?

有道词典 AI 作文批改的使用效果已经展示在这边了,机器学习及从整体过程上来说,AI 作文批改可以分为评分、评语和纠错三大模块。其中评分会从词汇、语法等角度打分;评语也会从词汇、语法、结构等维度去考虑,但同时还会提供同义词汇、高级词汇推荐以及佳文推荐等;纠错则需要识别并提供修改意见。

评分与评语生成都可以归为评分框架,在此过程中,年级或作文作者的学习阶段需要充当条件。整个评分框架可以结合传统方法与深度学习方法,充分发挥它们各自的优势。

例如传统线性模型,我们可以在词、句、篇章维度上给出评分。作文的词数、词汇丰富度、高级词汇是不是足够?拼写、语法、句式掌握是不是没问题?篇章的逻辑性、主题是不是都连贯?


这三个维度并不能概括整体的作文质量,我们还需要一个深度神经网络来从「作文整体」给出一个分数。

如下是有道打分模型的主要框架,其中 w_i 都是某个句子的「单词」,每一条句子会通过卷积神经网络编码为一个「句子语义向量」。这些语义向量最终会通过循环神经网络与注意力机制编码为一个作文的整体分数。


总体上,作文打分与评语生成的解决思路比较容易理解,但是要想模型能自动修改语法错误,这似乎就比较难解决了。

难道还用端到端的模型训练?我们真不能确定深度神经网络能自己完成「纠错」这一功能,毕竟,在我们的印象中,语法错误的种类非常多,「语感」这一说法又比较缥缈。

有道的解决方案也非常有意思,首先对于简单一些的拼写纠错,我们可以根据命名实体识别(基于 BERT)及统计模型给出一个得分,依据词典、编辑距离等众多特征判断拼写是不是有问题。

后面对于重头戏语法纠错,有道尝试将其定义成序列到序列的生成问题,利用 Transformer 的强大拟合能力与有道累积的数据量直接学习。


看起来语法纠错模型的思路并不难,但重点在于 Transformer 的数据量需求非常大。难道我们真的能像机器翻译领域那样找到海量有语法错误的句子,及修正语法后的对应句子?

这里有道采用的是一种迁移与对抗学习的方式,既然我们没有海量标注数据,那么基于真实用户错误分布生成海量「伪语料」,用它先训练 Transformer 模型。后面因为语法纠错的真实标注数据很珍贵,我们可以在训练完 Transformer 后再用真实数据微调一番。采用这种训练模式,我们才有可能令 Transformer 学到怎样改错句。

上面就是有道自动改错的主要思路了,如果将其应用到有道词典这个 APP 上,还有很多需要克服的挑战。有道也做了一系列优化,例如利用知识蒸馏压缩模型、利用预训练 BERT 快速判断标点与句子对错等等。真正要做成好用的产品,实际挑战远比我们想象中的多。

看效果,举个栗子

后面可以具体看看有道 AI 作文批改的功能与效果,我们也可以同时试试 Grammarly 等类似的工具。先不说效果,吐槽一下使用,其它工具不是要下载 Chrome 插件就是需要注册与登录,有道词典的 AI 作文批改的确要方便很多。

在考试作文方面,AI 作文批改能根据不同的知识水平与考试类别进行专业打分,它会从词、句、篇章的层面上进行点评,语法纠错也会给出更清晰的解析。下图为 AI 作文批改给一篇高中作文打的分,它同时会生成对应的报告。


除了整体的报告与评分,AI 作文批改会详细分析具体哪些地方出现了问题,每一处错误都能查看原因及修改意见。尤其是咱们中国人易犯的冠词使用错误,使用这个批改软件能够较好地帮我们找出这些语法问题,十分方便。


虽然使用类似 Grammarly 这样的应用也能自动纠错,但相对而言,它们并没有打分功能,也无法判断用户的学习阶段和考试类型,更不会生成专业的点评报告。无法做到网易词典 AI 作文批改这样的细化处理,针对不同用户群体提供针对性的建议。

还能直接 OCR

除了常规的复制粘贴或手动输入,有道词典上的 AI 作文批改还支持 OCR,只需要拍张照就能转化为文本。可以看到,有道词典对手写单词的识别还是比较准的,甚至连标点符号以及段落的位置都能准确识别出来。即使识别有些小错误,手动改一改也就没问题了。


确认提交后就能进行分析,只不过 OCR 大大简化了手写作文的自动批改过程,省去了我们自行手敲的烦恼。尤其是身边没有电脑时,这项功能给我们提供了极大的便利。

核心功能:语法纠错

AI 作文批改的核心功能,还是在于语法纠错,这是我们最容易提升写作技能的地方。语法纠错并不是一个新能力,目前有挺多产品都在做这样的事情。但是用 Transformer、BERT 等模型来做语法纠错,并结合传统方法的优势,这样的思路听上去效果就不会差。

我们可以先通过一条相同的错句试试不同语法纠错产品的效果:「On a cold morning, while I was watching a girl buy bread and milk in the fiont for me.」。

首先有道词典可以检测出三个错误,分别是拼写、冠词和介词错误。我们放到微软爱写作平台后,它只能发现「fiont」存在拼写错误,并且推荐将「buy」换成「purchase」等更高级的词。Grammarly 免费版一样,它也只能识别出「fiont」存在拼写错误。

图左为有道词典 AI 作文批改结果,图右为 Grammarly 纠错结果。

从总体体验上来说,有道词典挑出来的错误更全一些,尤其是当一句话中出现多种错误时。而且因为 AI 作文批改采用了前沿的 DL 模型,它对上下文的感知会更强一些,对于较复杂语法问题、或者语篇尺度上的时态问题,它都更有优势。

可能你会觉得单个例子不能说明什么,有道词典也做了详细的人工测评。对于脱敏后的批改服务请求,测试人员从海外词典请求、考研用户请求、行业数据集随机采样一部分作为测试集,并评估不同纠错服务的效果。整个测评过程算法同学都没有参与,基本能做到公平测评。

不同产品的纠错效果对比。

其中,Precision 是语法检测与修正的精确率,Recall 表示语法检测与修正的召回率。而 F0.5 为精度与召回率的调和平均,其值越高,通常表示算法性能越好。从上表我们可以明显的看到,有道词典 AI 作文批改的三项指标均高出同类先进自动批改软件 5%~7%。

目前大家已经都可以使用了,有道也表示,AI 作文批改还会有其它一些提升,未来将持续优化润色、范文推荐、书面与口语风格转化等功能。有了这些新能力,作文备考、论文写作等更多的体验都会更顺滑一些。
入门TransformerOCR有道AI
2
相关数据
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
网易机构

网易成立于1997年6月24日,是中国领先的互联网技术公司,为用户提供免费邮箱、游戏、搜索引擎服务,开设新闻、娱乐、体育等30多个内容频道,及博客、视频、论坛等互动交流,网聚人的力量。

https://www.163.com/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

统计模型技术

统计模型[stochasticmodel;statisticmodel;probabilitymodel]指以概率论为基础,采用数学统计方法建立的模型。有些过程无法用理论分析方法导出其模型,但可通过试验测定数据,经过数理统计法求得各变量之间的函数关系,称为统计模型。常用的数理统计分析方法有最大事后概率估算法、最大似然率辨识法等。常用的统计模型有一般线性模型、广义线性模型和混合模型。统计模型的意义在对大量随机事件的规律性做推断时仍然具有统计性,因而称为统计推断。常用的统计模型软件有SPSS、SAS、Stata、SPLM、Epi-Info、Statistica等。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

命名实体识别技术

命名实体识别(NER)是信息提取(Information Extraction)的一个子任务,主要涉及如何从文本中提取命名实体并将其分类至事先划定好的类别,如在招聘信息中提取具体招聘公司、岗位和工作地点的信息,并将其分别归纳至公司、岗位和地点的类别下。命名实体识别往往先将整句拆解为词语并对每个词语进行此行标注,根据习得的规则对词语进行判别。这项任务的关键在于对未知实体的识别。基于此,命名实体识别的主要思想在于根据现有实例的特征总结识别和分类规则。这些方法可以被分为有监督(supervised)、半监督(semi-supervised)和无监督(unsupervised)三类。有监督学习包括隐形马科夫模型(HMM)、决策树、最大熵模型(ME)、支持向量机(SVM)和条件随机场(CRF)。这些方法主要是读取注释语料库,记忆实例并进行学习,根据这些例子的特征生成针对某一种实例的识别规则。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

序列到序列技术

知识蒸馏技术

Hinton 的工作引入了知识蒸馏压缩框架,即通过遵循“学生-教师”的范式减少深度网络的训练量,这种“学生-教师”的范式,即通过软化“教师”的输出而惩罚“学生”。为了完成这一点,学生学要训练以预测教师的输出,即真实的分类标签。这种方法十分简单,但它同样在各种图像分类任务中表现出较好的结果。

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
命名实体识技术

命名实体识别(英语:Named Entity Recognition,简称NER),又称作专名识别、命名实体,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等,以及时间、数量、货币、比例数值等文字。指的是可以用专有名词(名称)标识的事物,一个命名实体一般代表唯一一个具体事物个体,包括人名、地名等。

找到机构
推荐文章
暂无评论
暂无评论~