苹果Siri翻译究竟出了啥Bug? ​牛和「牛」傻傻分不清楚


作为苹果设备的一款标配智能语音助手,Siri除了会讲笑话,还会B-box,教你撩妹,却也常常语出惊人。「调戏」Siri已经成为用户日常。

近日,Siri却因为翻译功能Bug背上「侮X」的名号。从机器翻译的技术角度来看,这事苹果多少有些「委屈」。

事出有因。

昨日,细心网友发现 iPhone 在涉及「华为牛bi」、「小米牛bi」等关键词翻译至英文时,会出现侮辱性词汇「bitch」;但翻译「苹果牛bi」关键词句时却能显示正确英文结果。

在iPhone、iPad上使用Siri语音助手均会出现近似翻译结果,结果对比明显且复现率高,很快这个消息在社交媒体上炸开了锅。

截止发稿前,苹果Siri的翻译功能已经部分从服务器端取消涉及「牛bi」的词条。直接询问「……英文怎么说」将反馈「这已经超出我的能力范围」,但在调出翻译功能界面后,仍能进行相关翻译结果呈现。

不少网友和自媒体将其解读为「侮X」的意图,但从机器翻译机器学习的技术角度来看,这个帽子扣得有点「委屈」。

1 傻傻分不清楚


昨日网友的翻译测试结果

为了进一步验证Siri的翻译功能Bug,我们进行了多轮测试,参考今日早上9点到10点时间段的测试结果。

目前,苹果Siri已经停止部分翻译功能,直接询问Siri「……英文怎么说」时,系统将反馈「已经超出我的能力范围」,但在调出翻译功能后,仍能看到相关翻译结果呈现。

翻译结果1

翻译结果2

翻译结果3

翻译结果4

这里,小米直接翻译成「Mimi」,实在令人费解。

可以看到在多轮翻译测试中,Siri对于「牛bi」的理解和翻译结果很不稳定,有将「牛bi」翻译成了「bitch」、也有翻译成「so good」、「awesome」、「bullish」,显然后者翻译更为贴切中文中「牛X」的含义。

但是,以上翻译结果还不至于将Siri翻译结果套用「阴谋论」,说不通的地方在于——见过骂自己CEO的手机吗?

稍微改变中文语法,翻译结果又恢复了正常。

在中文,「牛bi」也被写作牛B,多指「厉害」、「强」的意思,有时会简称为「牛」。

在维基百科(英文版)中,「Bitch」作为名词共有11种意思,均涉及包含粗俗、冒犯、进攻性质的负面词汇含义,唯一第九种是中性含义,指代纸牌游戏中的黑桃皇后。

为什么Siri能翻译出「bitch」这种字眼?

很大程度在于,Siri在面对不能理解的句型语法时将采取直译方式。这个时候,中文语句中的「bi」就成了主系表句型中的表语。对此,我们同样进行了测试验证。

将翻译有问题的句子去掉中文中的「bi」,比如「华为真牛」,Siri通常会翻译成「XXX is a real cow」、「 is a real ox」。这也侧面论证了Siri翻译背后所采用的「看见不懂就直译」的路径存在。

2 机器翻译背后的技术解密

2011年10月,Siri随着 iPhone 4S 的发布问世,成为iPhone设备的标配功能,如今AI语音助手也已经成为智能手机上的标配。

就目前技术发展阶段来看,手机语音助手交互原理在于,设备根据采集的关键词,来触发底层回答的指令。服务器端有编辑好的相应关键字和词条,当用户通过手机等设备发问时,算法搜索最为相关词条并呈现答案,可能为一个或多个。翻译问答的交互方式同理。

虽然在模型的训练阶段,已经出现神经机器翻译等更人工智能化的理解方式,但在推理阶段,AI语音助手尚不能达到完全理解人类「语言」的水平。

具体来看看机器翻译技术本身。

机器翻译,又称自动翻译,简言之即是借机器之力自动地将一种自然语言文本(源语言)翻译成另一种自然语言文本(目标语言)。

采用机器做翻译的思想最早由 Warren Weaver 于 1949 年提出。大半个世纪以来,机器翻译技术先后了 基于规则的机器翻译(RBMT)、统计机器翻译(SMT)、神经机器翻译(NMT)三次重要的方法演化。

神经机器翻译,Neural Machine Translation, 简称 NMT, 于2014年开始兴起,逐渐应用卷积神经网络(CNN),递归神经网络(RNN),注意力机制等技术。

神经机器翻译的优势在于长句子、甚至段落的翻译能力,阅读起来上下文连贯程度接近人翻。目前,神经机器翻译已经成为机器学习技术领域的主流。

2016年开始,神经机器翻译已基本全面取代传统的统计机器翻译(SMT),Google、微软百度搜狗等已相继上线神经机器翻译系统。

在英文中,单词在一个语境下通常只代表一个意思;而在中文里,一个字放在主、谓、定等不同的位置和语境中,代表的意思就有很多可能性,这也是中文博大精深之所在。

图片源于网络

在本文开头描述的情况中,Siri因为根本没有理解关键词的意思,所以采用了直译,即通过拆分成「单字」的模式寻找匹配词条,「牛」直接翻译成ox、cow(另一个词同理)。不得不说,已经八岁的Siri对于中文语法的理解仍然处于比较「低端」水平。

当然,在中英翻译上栽跟头的又何止Siri这种「外来客」。前段时间,微信自带的文字翻译功能也是十分任性。

以及再一次掀起清华北大之争的「神翻译」。

随后,微信团队便部分下线了翻译功能。腾讯微信团队微在微博上回应称,翻译引擎在翻译一些没有进行过训练的非正式英文词汇时出现误翻,导致部分语句翻译出现问题。

这也充分说明了基于人工智能的技术手段,在算法和模型足够领先之外,语料,尤其是平行语料的训练仍是高质量翻译的核心。

所谓,「平行语料「即指的是源语音与目标语言一一对应的关系,比如,「I love you」 = 我爱你」。而在微信的案例中,很有可能就是爬取并采用了网上已经存在的大量「caixukun=好」、 「caixukun=傻蛋」的语料。

对于Siri等「外来客」而言,中英互译效果不尽如意的很一大部分原因在于,我国用户对其调用率和使用率不高,本土化语料的训练量不够大,所以在面对一些本土化的东西,显得有些「智障」。这也就能解释前文提到的例子,由于对美国之外的品牌不够熟悉,Siri将「小米」 翻译成「Mimi」。

「主要是训练数据的覆盖,如果覆盖不好就要针对特定用语进行修正」,Facebook前机器翻译专家向机器之心表示,「Siri出现的这个情况应该不是有意的,很可能是他们现有的模型对于『牛bi』都翻译不好,但对于『苹果』和其有关的说法做了bad case修复」。

一般来说,训练语料主要来自三个方面,一是各种英汉辞典标准化语库来源;二是互联网上的爬虫抓取,从全网大量的数据里,抓取到所需要的高质量平行语料。

第三,则是各家公司能够「各取所需」的优势渠道,比如腾讯有大量基于微信平台有大量社交的语料,阿里巴巴有大量基于电商平台有大量交易的语料,或者其他公司通过付费购买特定场景语料。

那么新的问题来了,Siri 在中国市场的翻译功能,会是谁提供的语料和API呢?

产业苹果机器翻译Siri语音助手
相关数据
搜狗机构

搜狗成立于2003年,是中国搜索行业挑战者,AI领域的创新者。目前搜狗月活跃用户数仅次于BAT,是中国用户规模第四大互联网公司。2004年8月,搜狗推出搜狗搜索,现已成为中国第二大搜索引擎。2006年6月,推出搜狗输入法,重新定义了中文输入,目前搜狗输入法覆盖超5亿用户,是国内第一大中文输入法。2017年11月9日,搜狗在美国纽约证券交易所正式挂牌上市,股票交易代码为“SOGO”,开盘价为13.00美元,市值超50亿美元。

http://corp.sogou.com/
华为机构

华为成立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。华为的主要业务分布在无线、网络、软件、服务器、云计算、人工智能与大数据、安全、智能终端等领域,发布了5G端到端解决方案、智简网络、软件平台、面向行业的云解决方案、EI企业智能平台、新一代FusionServer V5服务器、HUAWEI Mate等系列智能手机、麒麟系列AI芯片等产品。目前华为拥有18万员工,36所联合创新中心,14所研究院/所/室,业务遍及170多个国家和地区。

http://www.huawei.com/cn
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

神经机器翻译技术

2013 年,Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络(CNN)将给定的一段源文本编码成一个连续的向量,然后再使用循环神经网络(RNN)作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译(NMT)的诞生;神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型,而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外,RNN 应该还能得到无限长句子背后的信息,从而解决所谓的「长距离重新排序(long distance reordering)」问题。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

基于规则的机器翻译技术

在很长一段时间里(20 世纪 50 年代到 80 年代),机器翻译都是通过研究源语言与目标语言的语言学信息来做的,也就是基于词典和语法生成翻译,这被称为基于规则的机器翻译(RBMT)

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

统计机器翻译技术

随着统计学的发展,研究者开始将统计模型应用于机器翻译,这种方法是基于对双语文本语料库的分析来生成翻译结果。这种方法被称为统计机器翻译(SMT)

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。 阿里巴巴集团经营多项业务,另外也从关联公司的业务和服务中取得经营商业生态系统上的支援。业务和关联公司的业务包括:淘宝网、天猫、聚划算、全球速卖通、阿里巴巴国际交易市场、1688、阿里妈妈、阿里云、蚂蚁金服、菜鸟网络等。 2014年9月19日,阿里巴巴集团在纽约证券交易所正式挂牌上市,股票代码“BABA”,创始人和董事局主席为马云。 2018年7月19日,全球同步《财富》世界500强排行榜发布,阿里巴巴集团排名300位。2018年12月,阿里巴巴入围2018世界品牌500强。

https://www.alibabagroup.com/
百度机构

百度(纳斯达克:BIDU),全球最大的中文搜索引擎、最大的中文网站。1999年底,身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力,抱着技术改变世界的梦想,他毅然辞掉硅谷的高薪工作,携搜索引擎专利技术,于 2000年1月1日在中关村创建了百度公司。 “百度”二字,来自于八百年前南宋词人辛弃疾的一句词:众里寻他千百度。这句话描述了词人对理想的执着追求。 百度拥有数万名研发工程师,这是中国乃至全球最为优秀的技术团队。这支队伍掌握着世界上最为先进的搜索引擎技术,使百度成为中国掌握世界尖端科学核心技术的中国高科技企业,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://home.baidu.com/
腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
小米机构

小米是中国一家专注于智能硬件、智能家居以及软件开发的企业,于2010年4月6日成立,总部位于中国北京,截至2018年3月31日,员工人数近1.45万。 2010年8月及12月,小米发布了基于安卓系统深度定制的第三方固件MIUI及首款移动应用米聊。2011年8月16日,小米正式推出了其第一款硬件产品——小米手机(一代),开创了以互联网线上抢购高配置、低售价的智能手机销售模式。 通过旗下生态链品牌MIJIA(米家),小米的产品线从智能手机及耳机、移动电源等手机周边产品和音箱、手环等相关移动智能硬件,扩展到智能电视、机顶盒、路由器、空气净化器、电饭煲等家居消费产品。截至2018年3月底,小米已进入全球74个国家和地区的市场,并在其中15个市场智能手机出货量名列前五。 2012年,小米全资买入北京多看科技有限公司,进入电子书阅读领域。多看阅读是旗下网站,并有相应的App。2018年,业界传闻小米有计划生产电子阅读器。 2018年5月3日,小米正式向香港交易所提交IPO申请[6],于2018年7月9日以同股不同权的方式挂牌上市,并计划于7月23日纳入恒生综合指数。 2018年11月19日,美图公司与小米集团宣布达成战略合作伙伴关系,合作期限30年。

推荐文章
暂无评论
暂无评论~