Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

苹果Siri翻译究竟出了啥Bug? ​牛和「牛」傻傻分不清楚


作为苹果设备的一款标配智能语音助手,Siri除了会讲笑话,还会B-box,教你撩妹,却也常常语出惊人。「调戏」Siri已经成为用户日常。

近日,Siri却因为翻译功能Bug背上「侮X」的名号。从机器翻译的技术角度来看,这事苹果多少有些「委屈」。

事出有因。

昨日,细心网友发现 iPhone 在涉及「华为牛bi」、「小米牛bi」等关键词翻译至英文时,会出现侮辱性词汇「bitch」;但翻译「苹果牛bi」关键词句时却能显示正确英文结果。

在iPhone、iPad上使用Siri语音助手均会出现近似翻译结果,结果对比明显且复现率高,很快这个消息在社交媒体上炸开了锅。

截止发稿前,苹果Siri的翻译功能已经部分从服务器端取消涉及「牛bi」的词条。直接询问「……英文怎么说」将反馈「这已经超出我的能力范围」,但在调出翻译功能界面后,仍能进行相关翻译结果呈现。

不少网友和自媒体将其解读为「侮X」的意图,但从机器翻译机器学习的技术角度来看,这个帽子扣得有点「委屈」。

1 傻傻分不清楚


昨日网友的翻译测试结果

为了进一步验证Siri的翻译功能Bug,我们进行了多轮测试,参考今日早上9点到10点时间段的测试结果。

目前,苹果Siri已经停止部分翻译功能,直接询问Siri「……英文怎么说」时,系统将反馈「已经超出我的能力范围」,但在调出翻译功能后,仍能看到相关翻译结果呈现。

翻译结果1

翻译结果2

翻译结果3

翻译结果4

这里,小米直接翻译成「Mimi」,实在令人费解。

可以看到在多轮翻译测试中,Siri对于「牛bi」的理解和翻译结果很不稳定,有将「牛bi」翻译成了「bitch」、也有翻译成「so good」、「awesome」、「bullish」,显然后者翻译更为贴切中文中「牛X」的含义。

但是,以上翻译结果还不至于将Siri翻译结果套用「阴谋论」,说不通的地方在于——见过骂自己CEO的手机吗?

稍微改变中文语法,翻译结果又恢复了正常。

在中文,「牛bi」也被写作牛B,多指「厉害」、「强」的意思,有时会简称为「牛」。

在维基百科(英文版)中,「Bitch」作为名词共有11种意思,均涉及包含粗俗、冒犯、进攻性质的负面词汇含义,唯一第九种是中性含义,指代纸牌游戏中的黑桃皇后。

为什么Siri能翻译出「bitch」这种字眼?

很大程度在于,Siri在面对不能理解的句型语法时将采取直译方式。这个时候,中文语句中的「bi」就成了主系表句型中的表语。对此,我们同样进行了测试验证。

将翻译有问题的句子去掉中文中的「bi」,比如「华为真牛」,Siri通常会翻译成「XXX is a real cow」、「 is a real ox」。这也侧面论证了Siri翻译背后所采用的「看见不懂就直译」的路径存在。

2 机器翻译背后的技术解密

2011年10月,Siri随着 iPhone 4S 的发布问世,成为iPhone设备的标配功能,如今AI语音助手也已经成为智能手机上的标配。

就目前技术发展阶段来看,手机语音助手交互原理在于,设备根据采集的关键词,来触发底层回答的指令。服务器端有编辑好的相应关键字和词条,当用户通过手机等设备发问时,算法搜索最为相关词条并呈现答案,可能为一个或多个。翻译问答的交互方式同理。

虽然在模型的训练阶段,已经出现神经机器翻译等更人工智能化的理解方式,但在推理阶段,AI语音助手尚不能达到完全理解人类「语言」的水平。

具体来看看机器翻译技术本身。

机器翻译,又称自动翻译,简言之即是借机器之力自动地将一种自然语言文本(源语言)翻译成另一种自然语言文本(目标语言)。

采用机器做翻译的思想最早由 Warren Weaver 于 1949 年提出。大半个世纪以来,机器翻译技术先后了 基于规则的机器翻译(RBMT)、统计机器翻译(SMT)、神经机器翻译(NMT)三次重要的方法演化。

神经机器翻译,Neural Machine Translation, 简称 NMT, 于2014年开始兴起,逐渐应用卷积神经网络(CNN),递归神经网络(RNN),注意力机制等技术。

神经机器翻译的优势在于长句子、甚至段落的翻译能力,阅读起来上下文连贯程度接近人翻。目前,神经机器翻译已经成为机器学习技术领域的主流。

2016年开始,神经机器翻译已基本全面取代传统的统计机器翻译(SMT),Google、微软百度搜狗等已相继上线神经机器翻译系统。

在英文中,单词在一个语境下通常只代表一个意思;而在中文里,一个字放在主、谓、定等不同的位置和语境中,代表的意思就有很多可能性,这也是中文博大精深之所在。

图片源于网络

在本文开头描述的情况中,Siri因为根本没有理解关键词的意思,所以采用了直译,即通过拆分成「单字」的模式寻找匹配词条,「牛」直接翻译成ox、cow(另一个词同理)。不得不说,已经八岁的Siri对于中文语法的理解仍然处于比较「低端」水平。

当然,在中英翻译上栽跟头的又何止Siri这种「外来客」。前段时间,微信自带的文字翻译功能也是十分任性。

以及再一次掀起清华北大之争的「神翻译」。

随后,微信团队便部分下线了翻译功能。腾讯微信团队微在微博上回应称,翻译引擎在翻译一些没有进行过训练的非正式英文词汇时出现误翻,导致部分语句翻译出现问题。

这也充分说明了基于人工智能的技术手段,在算法和模型足够领先之外,语料,尤其是平行语料的训练仍是高质量翻译的核心。

所谓,「平行语料「即指的是源语音与目标语言一一对应的关系,比如,「I love you」 = 我爱你」。而在微信的案例中,很有可能就是爬取并采用了网上已经存在的大量「caixukun=好」、 「caixukun=傻蛋」的语料。

对于Siri等「外来客」而言,中英互译效果不尽如意的很一大部分原因在于,我国用户对其调用率和使用率不高,本土化语料的训练量不够大,所以在面对一些本土化的东西,显得有些「智障」。这也就能解释前文提到的例子,由于对美国之外的品牌不够熟悉,Siri将「小米」 翻译成「Mimi」。

「主要是训练数据的覆盖,如果覆盖不好就要针对特定用语进行修正」,Facebook前机器翻译专家向机器之心表示,「Siri出现的这个情况应该不是有意的,很可能是他们现有的模型对于『牛bi』都翻译不好,但对于『苹果』和其有关的说法做了bad case修复」。

一般来说,训练语料主要来自三个方面,一是各种英汉辞典标准化语库来源;二是互联网上的爬虫抓取,从全网大量的数据里,抓取到所需要的高质量平行语料。

第三,则是各家公司能够「各取所需」的优势渠道,比如腾讯有大量基于微信平台有大量社交的语料,阿里巴巴有大量基于电商平台有大量交易的语料,或者其他公司通过付费购买特定场景语料。

那么新的问题来了,Siri 在中国市场的翻译功能,会是谁提供的语料和API呢?

产业语音助手Siri机器翻译苹果
相关数据
搜狗机构

搜狗是中国互联网领先的搜索、输入法、浏览器和其它互联网产品及服务提供商。从2004年8 月搜狐公司推出全球首个第三代互动式中文搜索引擎——搜狗搜索以来,历经十余载,搜狗搜索已发展成为中国第二大搜索引擎。根据艾瑞咨询2016年12月数据,搜狗PC用户规模达5.28亿,仅次于腾讯,成为中国第二大互联网公司。移动端APP用户仅次于腾讯,成为中国互联网快速发展的标杆性企业。

http://corp.sogou.com/
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

基于规则的机器翻译技术

在很长一段时间里(20 世纪 50 年代到 80 年代),机器翻译都是通过研究源语言与目标语言的语言学信息来做的,也就是基于词典和语法生成翻译,这被称为基于规则的机器翻译(RBMT)

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

统计机器翻译技术

随着统计学的发展,研究者开始将统计模型应用于机器翻译,这种方法是基于对双语文本语料库的分析来生成翻译结果。这种方法被称为统计机器翻译(SMT)

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
百度智能云机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://www.baidu.com
腾讯机构

腾讯,1998年11月诞生于中国深圳,是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念,为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”,我们长期致力于社交平台与数字内容两大核心业务:一方面通过微信与QQ等社交平台,实现人与人、服务及设备的智慧连接;另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展,通过普及移动支付等技术能力,为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
小米集团机构

小米公司正式成立于2010年4月,是一家专注于智能手机自主研发的移动互联网公司,定位于高性能发烧手机。小米手机、MIUI、米聊是小米公司旗下三大核心业务。“为发烧而生”是小米的产品理念。小米公司首创了用互联网模式开发手机操作系统、发烧友参与开发改进的模式。2018年7月,工业和信息化部向与中国联合网络通信集团有限公司首批签约的15家企业发放了经营许可证,批准其经营移动通信转售业务,其中包括:小米科技有限责任公司。 2018年7月9日,正式登陆香港交易所主板 。

https://www.mi.com/
推荐文章
暂无评论
暂无评论~