Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

腾讯QQ黑科技亮相2021谷歌开发者大会官网,基于TFlite部署AI语音降噪

当6亿用户习惯每天通过QQ发送语音和进行视频通话,或者在群里与网友语音接龙完成一场Pia戏,又或是与好友一起派对语音答题的时候,大家可曾想过,在不同场景下始终清晰、流畅的QQ音视频体验背后,到底是什么黑科技在支撑这些场景中“声”与“话”的美好?

今年11月16日召开的谷歌2021开发者大会期间,大会官网更新了一则案例——《TensorFlow助力:AI语音降噪打造QQ音视频通话新体验》,作者正是QQ音视频通话技术团队。作为谷歌TensorFlow的优秀应用案例,腾讯QQ团队在该文中详细揭秘了语音增强技术在QQ音视频功能中的研发与应用。

借助TensorFlow,QQ搭建AI降噪模型训练框架

在如今的应用市场中,音视频通话功能几乎已成为APP的标配。2021年10月份AppStore中国区下载榜前100名中,超过70%的APP配备音视频通话功能。音视频功能的体验,是衡量一款APP体验是否优秀的重要指标。

而优化音视频通话质量,降噪算法是核心技术之一。

目前,主流降噪方案主要有传统降噪和AI降噪两种。传统降噪方法计算量低,具有实时进行语音降噪的优势,但与此同时,因其基于数学和物理原理进行推导,过程中难免基于人认知的理想先验假设,这使得传统降噪对实际场景中频发的多种类、非平稳噪声表现不佳。

AI 降噪是最近兴起的基于数据驱动的降噪方法,能够有效的应对各种突发的非平稳噪声,但前期需要经过大量的数据训练,以及搭建合适的数据模型作为基础。而模型在移动端的部署,需要权衡模型大小、降噪效果、CPU 占用率和内存占用率等多个因素,由此给降噪技术的实现带来了一定的挑战。

为解决6亿用户对QQ音视频的庞大需求,腾讯QQ 团队基于开源TensorFlow机器学习平台,搭建了 AI 降噪与噪声场景分类的并行训练框架,并设计了音频降噪、音质提升和模型优化算法。

噪声数据的多样性是提高降噪模型泛化性的关键,因此,在训练模型时,腾讯QQ团队通过若干等时长音频数据的“投喂”和场景训练,结合合适的数据扩充,进一步提升了模型泛化能力,结合精细化设计的网络结构,能够让 AI 降噪模型适应生活中常见的几百种噪声,为用户提供具有 AI 加持的智能通讯体验。

同时,腾讯QQ团队还借助 TensorFlow Lite 的量化功能减小模型尺寸,在模型的降噪效果基本不受影响的前提下,极大提升了性能优势并成功部署到产品功能中。

AI 降噪算法+蒸馏技术模型优化,打造实时、高质量的清晰通话体验

在案例中,腾讯QQ团队指出,AI降噪算法包括音频降噪模块和音质提升模块两大方面。

音频降噪模块主要是通过针对带噪声音频中的干净人声进行建模,再提取出带噪音频的频域特征,将带噪声音频与干净音频的的频域特征进行对比和计算,从而使AI对人声之外常见的开门声、键盘声、走路声等音频具备更精准的识别能力和降噪处理,从嘈杂环境中剥离出干净语音。

在此基础上,腾讯QQ团队又加入了音质提升模块,以平衡降噪幅度,确保噪声去除的更加干净,同时避免导致其它有用的音频被消音,确保实时降噪过程中“有用的信息都进来,无用的噪音都隔离”。

当代人生活更加多元,餐厅、咖啡馆、车厢、影院以及街道、小区等不同场景,晴天、雨天、台风天等不同天气,也都伴生着不同种类的噪声,也都有可能对用户的音视频体验带来干扰。

为测试AI降噪面向不同场景的深度优化能力,腾讯QQ团队还选取了办公场景下常见的百种噪声:键盘声、关门声、风扇声等噪音,结合干净人声按照 0dB、5dB、10dB 和 15dB 信噪比制作混合音频,分别测试原始降噪模型以及采用蒸馏技术提升后的AI-Denoise-student模型的表现。

测试结果显示,短时目标清晰度(STOI)与语音质量的感知评估(PESQ)均有所提升,并且随着降噪量的提升,AI降噪效果的优势还能进一步凸显。

优质的社交功能体验,往往藏在用户“看不见”的地方

社交软件几乎占据了当代人使用手机的大半时间,它不仅是人们日常交往中至关重要的工具,同时也紧密关系着用户体验与社交质量。

而在每一条文字或语音信息的背后,在每一通音频或视频通话的背后,都有来自无数环节的技术支持,每一个环节的优劣,也都关系着用户体验的好坏——用一句比较流行的话来说,就是“用尽了全身力气,才能显得毫不费力”。

腾讯QQ团队基于TensorFlow研发的降噪技术,能够通过AI算法带来智能的降噪功能和清晰、干净的音视频体验,对于行业难点之一的音频降噪同时保证音质效果,也有了针对性的优化方案,对语音质量和视频通话带来更好的技术保障。

腾讯QQ一直专注社交与沟通,致力于提供优质的社交体验。许多音视频相关的功能如趣味变声、语音暂停等功能都率先出现在QQ中。这些功能也受到了年轻人的普遍喜爱。据悉,腾讯QQ未来还将在AI基础算法、模型方面加强研究,拓展更多元的社交应用场景。

附录:

TensorFlow 助力:AI 语音降噪打造 QQ 音视频通话新体验

https://mp.weixin.qq.com/s/F_QrRFPiEzG3rdyxU_nK2w


入门机器学习语音增强腾讯
相关数据
语音增强技术

语音增强旨在通过利用信号处理算法提高语音的质量和可懂度。 主要包括1. 语音解混响,混响是由于空间环境对声音信号的反射产生的;2,语音降噪,干扰主要来源于各种环境和人的噪声;3. 语音分离,噪声主要来源于其他说话人的声音信号。通过去除这些噪声或者人声来提高语音的质量。现已经应用于现实生活中,如电话、语音识别、助听器、VoIP以及电话会议系统等。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

腾讯机构

腾讯,1998年11月诞生于中国深圳,是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念,为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”,我们长期致力于社交平台与数字内容两大核心业务:一方面通过微信与QQ等社交平台,实现人与人、服务及设备的智慧连接;另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展,通过普及移动支付等技术能力,为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
模型优化技术

像卷积神经网络(CNN)这样的深度学习模型具有大量的参数;实际上,我们可以调用这些超参数,因为它们原本在模型中并没有被优化。你可以网格搜索这些超参数的最优值,但需要大量硬件计算和时间。改进模型的最佳方法之一是基于在你的领域进行过深入研究的专家的设计和体系结构,他们通常拥有强大的硬件可供使用。常见的简单模型优化技巧包括迁移学习、dropout、学习率调整等

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~