Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

奇点机智Naturali

为什么说 Bert 大力出奇迹?

来自谷歌科学家的分析

今年八月,来自西雅图一家AI组织Allen Institute for Artificial Intelligence的科学家公布了一组给机器出的英语测试题。题目检验了机器能否选择出适合语境的后半句话:

在舞台上,一位女士坐在了钢琴旁。她:

A)坐在了长凳上,而她的妹妹在玩玩偶。

B)微笑着听音乐。

C)在人群中看舞者跳舞。

D)紧张地把手指放到了琴键上。

对于你来说,可能是个很简单的问题,但对于机器则不然。人类能够答对这套测试题中88%的问题,而机器只答对了大约60%。对于科学家们来说,这个数字已经很不错了,因为他们深知建造一个能够理解自然语言的系统有多难。

两个月以后,Google团队发布了撼动自然语言处理(NLP)领域的Bert模型。使用了Bert模型的系统在回答上面的测试题时,正确率与人类不相上下。

Bert的到来为人工智能的发展带来了里程碑式的意义。在过去的几个月中,科学家们能够证明机器能以通用的方式学习多变的语言,并且应用到不同的具体任务中。例如,虚拟助手Alexa、Google Home,以及在法律、医疗、金融等领域自动分析文档的软件所运用的技术都能得以提高。

有了Bert,机器终于能跟能人进行自然的对话了。

但是也有一些负面影响:比如当社交媒体平台运用了这项研究,其中的聊天机器人可能会假装成人类,我们可能连是在跟人对话还是机器对话都傻傻分不清楚了。

研究学者已经证明了飞速发展的AI技术能够创造以假乱真的图片,当这类技术迁移到自然语言领域,我们需要对网上遇到的一切都要更加提高警惕。

这些新的语言系统是通过分析成百上千万人类写出来的语句来进行学习的。旧金山一家研究机构 OpenAI研发的一款系统,分析了数千本书籍,包括浪漫小说、科幻小说等文学作品,Google的Bert也研究了同样的书籍,另外再加上维基百科中的所有内容。

每个系统都是通过分析文本来学习一项特殊的技能。OpenAI系统学习的目的是猜到句子中的下一个单词是什么,而Bert是能够猜出一句话中任何一个缺失的单词是什么。但是在掌握这些特殊技能的同时,它们也学习了语言是如何进行组合的。

“如果Bert能够猜到百万语句中所缺失的单词(例如“一个人走近超市买了1 ____ 牛奶”),那么它也能够理解语言中单词之间的关系”,见证Bert诞生的谷歌科学家Jacob Devlin表示。

基于Bert的系统也能够将相关知识运用到其他任务中去。当研究人员给Bert提供一系列问题及对应的回答,它就能自主学习回答其他的问题。当向它“投喂”描述同一事件的新闻标题时,那么以后当两句相似的语句出现时,它就进行识别判断了。 而一般情况下,机器只能识别完全一致的语句。

Bert能够完成Allen Institute出的常识测试,也能够做阅读理解测试,回答关于百科全书中的问题,例如“氧气是什么?” “降雨量是指什么?” 这类的问题。在另外一个测试中,它能够对影评进行情感分析,判断出影评是正面的评价还是负面的。

Bert在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同的NLP测试中创出最佳成绩。

这类技术的出现能帮我们向AI领域中的许多长远目标迈近一大步,比如总结分析大量复杂的信息,来协助人们做一些重大决定。

在OpenAI系统公布的几周后,其他科学家将其应用到对话当中。一个独立的科学研究组织利用OpenAI的技术在一个由Facebook AI Lab等机构主办的比赛中创造了最佳聊天机器人。谷歌开源了Bert代码,技术人员则能够把它应用到不同场景的任务中去。Google科学家Devlin和他的团队已经用102种语言对它进行了训练。

在众多科研人员认为自然语言相关技术已经遇到瓶颈时,像Bert这样系统的出现让大家看到了无限潜能。这种技术背后的复杂数学系统叫做神经网络。近些年来,这类深度学习技术加速了人脸识别、无人驾驶等技术的发展。

Bert之所以能成功,部分原因在于它所依赖的神经网络在过去几年还没有如此强大的计算机处理能力。利用Google为神经网络搭建的计算机处理器,它能够在几天之内分析维基百科里的所有文章。

Devlin先生说,驱动Bert的想法已存在多年,但它们现在才开始发挥作用,是因为现阶段的硬件可以处理更多的数据。

像谷歌一样,其他几十家公司正在为这种机器学习专门制造芯片,许多人认为这种额外处理能力的涌入将继续加速各类AI技术的发展,尤其是自然语言方面的应用。

但质疑的声音也同时存在。一些学者认为,这项技术可以持续快速发展,是因为研究人员倾向于专注于他们可以取得进展的任务,并避免他们不能做到的任务。这些系统距离真正理解语句或行文中的含义还有很长的路要走。

虽然Bert通过了实验室的常识测试,但机器距离达到人类常识的高度水平还很远。但不得不说,自然语言研究的发展轨迹已发生变化,这是一个“爆炸式进展”的时刻。

原文链接:https://www.nytimes.com/2018/11/18/technology/artificial-intelligence-language.html#click=https://t.co/v0Raiygv0p

Naturali 奇点机智
Naturali 奇点机智

致力于让企业轻松创建语音交互体验,让对话与服务有效连接。语音对话平台“对话流”由奇点机智自主研发,利用其领先的语音识别、NLP、深度学习技术,为企业提供智能语音对话解决方案。

入门NLPBERT模型机器阅读理解机器学习深度学习人脸识别聊天机器人
3
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

推荐文章
暂无评论
暂无评论~