2018年度智能音箱IQ大比拼:Google Home夺冠, Amazon Echo仅排第三

近日,美国著名研究型风险投资公司Loup Ventures分析师Gene Munster和Will Thompson测试了四个智能音箱的IQ:Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana),分别询问了它们800个问题。

智能音箱的IQ主要通过内置的语音助手来体现。测试结果为:Google Assistant能够正确回答88%,占据第一位,紧随其后的是Siri,问题正确率为75%,排名第二,而万众瞩目的Alexa仅为73%,排名第三,Cortana为63%,排名第四。

相比去年,四款智能音箱IQ排名依旧没变,但是,IQ总体水平有所提高。

在去年,Google Assistant能够正确回答81%,Siri为52%,Alexa为64%,Cortana为56%。

Loup Ventures是一家研究型风险投资工资,主要投资前沿科技公司,并建立新的体验方式,为了更好地理解人工智能的实际使用案例以及语音作为计算输入的出现,Loup Ventures正在进行的工作的一部分是,定期测试最常见的语音助理和智能音箱。

虽然底层技术类似,但智能音箱的语音助手和智能手机上的语音助手在使用场景和用户体验差别很大,应该分别测试。

这次,他们测试了智能音箱Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana)。

测试方法

向每个智能音箱询问了相同的800个问题,并对两个指标进行了评分:1、它是否理解所说的内容?2、它是否提供了正确的答案?问题旨在全面测试智能音箱的能力和效用,问题分为5类:

当地 - 最近的咖啡店在哪里?

商务 - 你能给我提供更多纸巾吗?

导航 - 我如何乘坐公共汽车去市区?

信息 - 双胞胎今晚有谁参加比赛?

命令 - 提醒我今天下午2点打电话给史蒂夫。

智能音箱型号

第二代Amazon Echo,Google Home Mini,Apple HomePod和Harman Kardon Invoke

测试结果与分析

Google Home继续表现优异,正确回答了86%并理解了所有问题。HomePod正确回答了75%并且只误解了3个问题,Echo正确回答了73%并且误解了8个问题,而Cortana正确地回答了63%并误解了5个问题。 

值得注意的是,几乎每个被误解的问题都涉及一个专有名词,通常是当地城镇或餐馆的名称。

语音助手的语音识别自然语言处理都得到了改善,在合理的范围内,他们会理解你所说的一切。 

Google Home在五个类别中有四个处于领先地位,但在命令类别中不及Siri。HomePod在这方面的领先地位可能是因为HomePod把所有的Siri请求(比如短信、列表等)传送到与智能音箱配对的IOS设备上。而iPhone上的Siri与我们的命令类别中的电子邮件、日历、消息传递和其他重点领域进行了深度集成。

我们的问题集还包含大量与音乐相关的查询,这是HomePod擅长的。 

最大的差异存在于商业领域,传统观点认为Alexa将占主导地位。但是,Google Assistant可以正确回答更多关于产品信息和在哪里购买某些商品的问题,Google Express在实际购买商品或重新进货方面与Amazon一样强大。 

基于对消费者的调查以及我们使用语音助手的经验,通过语音命令进行购买商品的消费者数量微不足道。与商业相关的查询更倾向于产品研究和本地商业发现。  

Alexa令人惊讶的商业评分解释了这一点。 

问题:“美甲会花多少钱?” 

Alexa:“美甲的最佳搜索结果是Beurer Electric Manicure&Pedicure Kit。亚马逊上的售价为59美元。想买吗?” 

Google Assistant:“平均而言,基本美甲将花费你大约20美元。然而,特殊类型的美甲,如丙烯酸、凝胶、紫胶和无芯片的价格从20美元到50美元不等,具体取决于沙龙。” 

由于有专有地图数据的集成,HomePod和Google Home在本地和导航部分都遥遥领先于其他智能音箱。 

在我们的测试中,我们经常询问当地企业、公交车站、城镇名称等。这些数据对Siri和Google语音助手来说具有潜在的长期优势。 

每个语音助手都可以播放给定的歌曲或告诉你天气情况,但是,对于情境感知的理解将产生真正的差异。 

如果你问,“我的日历上有什么?”一个真正有用的答案可能是,“20分钟后,在十二大道上的星巴克有一个会议。开车需要8分钟,乘坐巴士需要15分钟。我会在你的手机上提示方向。” 

需要注意的是,HomePod在许多领域的表现不佳是因为与iPhone相比,Siri在HomePod上的能力有限。许多信息和商业问题都得到了“我在HomePod上找不到答案”回答。 

苹果显然把HomePod定位为一个家庭音箱,而不是一个“智能音箱”。

智能音箱的进步 

在12个月的时间里,Google Home提高了7个百分点,Echo提高了9个百分点,Siri(9个月)提高了22个百分点,而Cortana提高了7个百分点。 

下面的图表显示了我们过去测试的结果。导航或商务类别问题正确率连续下降是由于我们对问题集进行了更改,以反映不断变化的能力,并确保我们的测试是详尽的。 

除了HomePod在过去一年中由于启用更多域名而增加了22个百分点点,Alexa还有明显的进步。最大的进步来自信息部分,其中Alexa更有能力回答后续问题并提供诸如股票报价之类的东西,而无需启用技能。 

我们也相信我们可能会看到新的Alexa Answers计划的早期结果,该计划允许人们对Alexa目前没有答案的问题进行众包答案。例如,这一轮,Alexa正确回答了,“托马斯杰斐逊与谁有暧昧关系?”和“直径为21的圆周长是多少?” 

我们还注意到,之前未正确回答的一些特定生产力问题的改进。例如,Google Assistant和Alexa都可以联系Delta客户支持并查看在线订单的状态。除了HomePod之外的所有智能音箱,都可以根据要求播放一个特定的广播电台,而且都可以阅读睡前故事。

这些有形的案例对于智能音箱来说是重要的,我们希望看到智能音箱功能的全面改进,这些改进将语音的用途从音乐和天气等简单的事情推向了更广阔的领域。 

分数接近80-90%,这就引出了一个问题,这些语音助手最终是否能够回答我们提出的所有问题?答案可能是否定的,但持续改进将使越来越多的功能由我们的声音控制。这通常意味着更多的设备间连接(例如,控制电视或智能家居设备)以及对电子邮件、消息传递或日历等功能的更多控制。

声学在线
声学在线

产业自然语言处理InvokeHomePodEchoGoogle Home语音识别语音助手智能音箱
1
相关数据
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

语音助理技术

虚拟助理(virtual assistant)是一种能替个人执行任务或服务的软件代理(software agent)。有时候“聊天机器人”泛指虚拟助理,亦或专指网络聊天使用的软件机器人(有时候更专指娱乐而非实用的网络聊天)。但也可以指一种职业,或者企业组织,其乃是透过网络执行远端服务。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

推荐文章
暂无评论
暂无评论~