2020/11/16 14:28

谷歌发布新一代定向人声分离系统，2.2MB模型提升设备端语音识别

2018 年，谷歌科学家王泉等人发表 VoiceFilter 系统，利用声纹识别实现定向人声分离。最近，王泉等人挑战设备端语音识别难题，提出新一代定向人声分离系统 VoiceFilter-Lite，只需 2.2MB 大小的模型，就能将重叠语音的词错率（word error rate）降低 25.1%。

鸡尾酒会问题一直是语音识别领域中的重要研究课题。在一场人声嘈杂的鸡尾酒会上，人们难以专注于眼前正与自己交谈的那个人的声音。而对于语音识别算法而言，重叠语音信号会使识别准确率大幅降低，甚至有时无法识别出任何文字。

传统的声源分离算法在用于语音识别时，往往面临挑战，例如未知的说话人数量、训练过程中的置换不变性（Permutation Invariant），以及如何从最终分离的多个信号源中找出需要识别的信号源。谷歌 2018 年发表的 VoiceFilter 系统，巧妙地利用声纹识别技术，实现了对特定说话人声音的定向分离，详见机器之心 2018 年的报道：只对你有感觉：谷歌用声纹识别实现定向人声分离。

VoiceFilter 系统处理重叠语音的示例。

然而，VoiceFilter 系统在用于设备端语音识别时，会面临更多挑战，例如模型大小的限制、对 CPU 和内存的占用，以及设备电池和系统延迟方面的考量。

为解决这些问题，近日谷歌发布博客，介绍了新一代定向人声分离系统 VoiceFilter-Lite。该方法同样基于谷歌的声纹识别技术，但只需要 2.2MB 大小的模型，就能将重叠语音的词错率（word error rate）降低 25.1%。该模型能够用于设备端语音识别，从而让用户在没有网络连接的情况下，也能在嘈杂的背景噪声环境下使用语音助手。

VoiceFilter-Lite 在设备端的使用 demo。

VoiceFilter-Lite 模型：改善设备端语音识别

与之前的 VoiceFilter 系统相比，新的 VoiceFilter-Lite 模型采用了许多巧妙的优化。例如，模型的输入和输出不再是音频波形，而是直接对语音识别模型的输入特征（对数梅尔滤波器组）进行分离，将该特征中不属于目标说话人的成分滤除掉。为进一步压缩模型大小，VoiceFilter-Lite 对模型结构也进行了优化，并通过 TensorFlow Lite 库，对参数进行了量化。模型架构如下图所示：

VoiceFilter-Lite 模型架构。

VoiceFilter-Lite 与其他方法相比，一个重要优势在于「即插即用」的特性。也就是说，如果用户没有录入其声纹，系统可以很方便地跳过 VoiceFilter-Lite 模型。因此，VoiceFilter-Lite 模型可以和语音识别模型分别进行训练与更新，这将大幅简化语音模型的工程部署工作。

如何解决过度抑制问题

人声分离算法被用于语音识别时，一个常见的问题是过度抑制（over-suppression），也就是将本应保留的部分有用信号错误地过滤掉，导致识别出的文本缺失大量字词。由于最近的语音识别模型普遍采用大量数据增强方法，所以过度抑制造成的问题远大于抑制不足（under-suppression）。

VoiceFilter-Lite 在设计过程中采用了两种方法来解决过度抑制的问题。首先，在训练过程中，损失函数采用了非对称的形式，也就是过度抑制相比抑制不足会有更大的权重。此外，模型被设计为可以动态检测重叠语音的存在。当检测到输入信号包含重叠语音时，模型将采用更大的抑制强度。

这两种方法的结合使用，让 VoiceFilter-Lite 模型不仅能大幅提升重叠语音的识别准确率，还能在任何其他环境下都不对识别准确率造成负面影响，包括各种噪声背景下的单说话人语音识别场景。

未来工作

最后，博客作者、谷歌声纹识别与语言识别团队负责人王泉指出，目前的 VoiceFilter-Lite 技术只被应用于提升英语的语音识别，未来谷歌将会用相同的技术提升其他语言的语音识别。另外，作者考虑在 VoiceFilter-Lite 的训练过程中直接对语音识别损失函数进行优化，从而进一步提升各种环境下的识别准确率。

谷歌博客链接：https://ai.googleblog.com/2020/11/improving-on-device-speech-recognition.html
论文链接：https://arxiv.org/pdf/2009.04323.pdf

理论谷歌语音识别

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

语言识别技术

在自然语言处理中，语言识别或语言猜测是确定给定内容所使用的自然语言的问题。针对该问题的计算方法被视为文本分类的特例，并用各种统计方法解决。

来源：Wikipedia

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/