虚拟现实中的3D音效技术解析和应用趋势

自从有声电影诞生以来,传统的电影制作中,流传着这么一个古老的经验:“你可以用较差的视频质量制作一部电影,但是如果用较差的音频质量,那么几乎是毁了这部电影。” 由此可见音频质量在影片中的重要性。南加州大学创新技术研究所(ICT)的马克主任表示:“在电影中,声音是一如既往地重要,它能够让人身临其境,并且真切感受到电影中各种情感因素的脉动。”

那么在虚拟现实中,音频质量的重要性可能比在传统电影中更加重要。因为虚拟现实中,观众也是其中的导演。虚拟现实中故事情节的变化,取决于观察者的角度。没有方位和距离感觉的声音,容易让用户的听觉和视觉系统失调,破坏用户对于听觉、视觉协同的本能反应,从而更容易产生眩晕感。显然,虚拟现实就是尽可能为用户提供更为真实和沉浸式的体验,但如果声音方面没有做好技术配套,将会极大破坏了这种体验。

事实上,目前热闹的虚拟现实技术,其实准确来说应该是虚拟视觉技术,因为声音的因素显然还没有考虑。但是,当国内还在热炒这种虚拟视觉的时候,国外已经悄悄布局了真正的虚拟现实技术。2016年的CES已经陆续有厂家发布相关的3D声音技术,但是这项技术显然还是有点太贵了,相对于Google用个纸盒子就可以实现的虚拟视觉系统,3D音效似乎就有点不接地气。当然,这也和声学相关研究的初期投入较大有关系,而且3D声音的研究确实需要做很多实验,采集非常多的人体相关数据。显然,3D音效是虚拟现实的一个优势技术,它让声音听上去更加逼真,从而强化整个虚拟过程中用户体验的浸入感。

 

  • 什么是3D音效

3D音效就是利用耳机或者按规律摆放的一组扬声器,基于人耳的一些特殊声学效应,通过一些声学相关算法计算模拟,仿造出似乎存在但实际是虚构的声音。例如在虚拟现实的游戏中,当一个怪物偷偷出现在你左后方时,你能从左耳听到它流口水和舌头吐纳的声音。通过逼真的声音,你也可以深刻体会身临其境的感觉,很轻易知道游戏中敌人在哪个方位,并且快速出击。当然,这种体验需要在声音录制和音轨制作时就考虑声音的方向、距离和环境等因素。

  • 什么是环绕声

说到环绕声,就离不开电影院的贡献,最开始电影院是单声道(Mono),然后是立体声(Stereo),其后是环绕声(Surround),再其后是5.1和7.1声道,理论上接下来将是9.1、11.1甚至13.1声道,很多公司实际上就在研发更多声道的技术,包括杜比的全景声。但是我们常说的标准环绕声技术一般还是指5.1或者7.1声道技术,5.1声道比较流行,但实际上有听音盲区的缺陷。但是不管5.1还是7.1,这些声道都需要真实的音箱摆放,而且回放的声音是处在一个平面上,无法展示从上和下方传来的声源。这样看来,环绕声技术就不太适合虚拟现实中当前以耳机为主的应用场景。

  • 什么是虚拟环绕声

上面提到的环绕声技术,不管5.1还是7.1,都有一个缺点,就是回放时需要按照规则固定摆放多个音箱。这就对其应用场景产生了很大限制,比如我们用耳机听音乐怎么办?所以,这个时候就需要一种虚拟的声学技术,能够把多声道的信号经过处理,在两个平行放置的音箱或者耳机中回放出来,并且能够让人感觉到环绕声的效果,这就是虚拟环绕声技术。显然,这是一种非标准的环绕声技术,可以增强我们听听音乐、看看电影的用户体验。但是这种技术也不适合虚拟现实中的应用,因为这种技术无法依靠算法在虚拟环境中随意定位声源,或者实时计算和比较3D游戏中声音的关系,而且这种技术也只能模拟到一个平面上,无法解决垂直面声源方位的问题。

 

  • 3D音效的基本原理是什么?

3D音效的技术基础是HRTF,即头相关传递函数(Head Related Transfer Function),HRTF可以分解为三部分,ITD,ILD及Spectral Cues。实际上非专业技术人员,大可不必搞明白到底是什么。通俗来说,HRTF就是试图模拟我们人耳获取声音的模型,并且通过这个模型虚拟出来任意声源所对人耳所造成的感觉。这样来说,HRTF首先就需要测量众多人耳的数据,通过这些数据建立起黑盒子的声学模型,其关键就是如何测得较为准确的HRTF数据,以及如何建立起比较适合的相关模型呢。说到这里,笔者想起来声学在线曾经报道过微软建设了世界上最好的消声室,这可是3D音效技术中最基础的实验环境,所以未来的HoloLens必然还会让你惊讶!

  • 3D音效如何应用到虚拟现实?

当然,3D音效的概念还是比较广泛,声学在线也曾经专题写过影院3D声音技术的文章,这和虚拟现实中的应用还是有差别的。首先来看,虚拟现实现在的表现形式还是以头盔为主,因此耳机必然是最佳配置,而这样,实际上对3D音效提出了更复杂的技术要求。由于只能通过耳机来回放出具有3D效果的声音,其播放的声道也就只能限制到两个声道,也就是立体声,因此,我们就把应用到虚拟现实中的3D音效暂且称之为3D立体声。

显然,3D立体声就需要一系列的采集、编码、传输、解码以及回放的过程,我们用个图展现一下,大家可以看到一目了然。同时,为了兼容现有的声音方案,3D立体声还必须能够具有虚拟环绕以及音效增强的作用。这样来看,3D音效其实不单单是技术层面的问题,而涉及到了从内容产生、制作到发布的各个环节。没有一定的技术实力和市场应用,这个领域也只能是巨头们玩的游戏。

上图的基本思路便是:采取“声场表达”的编码思路,使用“可扩展立体声”作为操控基本对象,向下兼容传统编码和SAOC等技术,来进行3D声场表达和3D声场重建。可扩展立体声,即基本立体声(面向前半平面空间)可扩展为多对各空间区域立体声,并可附加声源位置/距离信息,可以用来表达参考位置的3D声场信息。在可扩展立体声的基础上进行压缩编码。

 

  • 3D音效的市场现状如何?

实际上,技术早已不是3D音效普及的主要障碍了,3D音效的影院在国内也有上百个了,当然这得益于杜比与好莱坞的密切关系。而在虚拟现实领域的3D声音应用,显然微软和Google走在了前面。而我们要重点关注Google的进展,因为微软非要高大上,比如HoloLens,过于昂贵的产品我们认为普及很有问题。Google不是这样,大家还记得那个纸盒子的Cardboard,极其便宜的虚拟视觉体验产品,国内还有不少公司抄袭这个产品。

谷歌Cardboard最初是由法国的两位工程师利用20%的时间打造出来的实验项目,是基于手机的廉价VR解决方案,类似三星的Gear VR,使得普通用户也能体验360度的视频。但是它所能带来的VR体验是一种很初级的体验,甚至只能勉强算作是VR。目前市面上,高性能独立虚拟现实头盔像Oculus公司(已被Facebook斥资20亿美元收购)的Rift和索尼公司的PlayStation VR,主要是为游戏所设计的。这些设备提供了很酷的立体视觉体验,同时用户还可以通过使用手持式控制器,尽情探索虚拟空间中的各个角落,各种细节,与里面的数字对象进行交互,同时享受各种逼真的音频。

Oculus、索尼、HTC生产的高价耳机已经能够提供3D立体声的虚拟现实体验,然而Cardboard由于是通过智能手机播放的,并不能支持这种体验。所以谨防市场上的那些忽悠产品,从事这个领域草台子公司可真的不行。当然谷歌也意识到了这个问题,腰包中有钱,通过收购Thrive Audio公司的相关技术,为虚拟现实头盔Cardboard也增加了3D立体声的新功能,使得用户用这个最廉价的VR头盔也能体验到3D音效。这一举措,显然也为谷歌 Cardboard向真正的VR迈进铺平了道路。

Cardboard新的音频功能,能够给游戏开发提供很大的便利。除了能让开发者给观众播放其所期待的特定音效之外,这项技术还能够使得声音变得更加逼真。例如:如果声音出现在你的右边,该技术会使得你的左耳所听到的声音比右耳延迟一点点,并且两个耳朵所听到的声音也不尽相同,从而营造真实感。另外,Cardboard的3D立体声音频会根据观众所处的虚拟环境,提供给用户不同的声音环境。例如:如果观众所在的环境是室外的雪地里,那么声音就会显得低沉(声音被雪地吸收,参见为什么下雪的时候城市就安静了?),而如果是在一个封闭的房间里,声音就会显得有点回响(声音被墙壁反射)。这项技术使得Cardboard在没有任何高昂计算机的辅助下能够实现Oculus Rift的音频效果。

 

  • 3D音效的爆发还需时日

3D音效技术已经研究了几十年,到现在还不算完美。虽然Cardboard的本身定位不是高端耳机,而是休闲级别的,旨在“人人都能用上虚拟现实”的入门级产品。其用户体验并不是很好,但仍可看出谷歌对VR,还是十分重视和认真的。谷歌不仅和《纽约时报》合作推Cardboard,还成立单独的VR部门,专注于VR技术的开发。而Cardboard的价格如此低廉,甚至谷歌都可以免费送给用户体验。这种明显的价格优势,将有助于推动VR成为主流。而对于3D立体声技术,谷歌已然将其视为Cardboard生态系统的一个重要组成部分。

如果VR真正爆发,3D立体声技术将会进一步改善。通过定位跟踪VR设备以及固定在家里的各种音响系统,虚拟现实和现实世界之间的界限将变得越来越模糊,声音将来自于你周围的一切,而不是耳机。

斯坦福大学的虚拟人机交互实验室创始主任杰里米·贝伦森指出,3D立体声是创造浸入式虚拟现实体验的关键。他说:“我们实验室有基于Worldviz虚拟现实系统的内置24通道的立体声混响音效系统,该系统可以空间化声音并且集成所跟踪的数据,我们每年为数千人提供VR体验,3D立体声是这种高质量体验的重要组成部分。”

但是现在,尽管技术仍有很多瑕疵,3D音效技术已经可以落地了,只需要智能手机和Cardboard,插上耳机,你就可以体验真正的3D音效。当然这对于谷歌而言还仅仅是万里长征的开始。在VR当今火热的竞争中,Cardboard或许是VR的一个小尝试,但是由于其简单有效,成本低廉,谷歌将会迅速在虚拟现实领域占据先机。同时,这也是国内声学产业的机会,新兴的市场总会产生新兴的机会,从而孕育出新兴的巨头。

产业
推荐文章
关于Facebook的未来,31岁的扎克伯格还有三条锦囊妙计
PSI内容合伙人
滚石特写: 沉默7年后, Magic Leap用魔幻现实主义式科技重新定义了自己
微胖
有人分不清虚实,有人沉溺虚幻
机器之心
暂无评论
暂无评论~
返回顶部