2022/09/13 11:22

明略科技Blockformer语音识别模型在AISHELL-1测试集上取得SOTA结果

深度学习已成功应用于语音识别，各种神经网络被大家广泛研究和探索，例如，深度神经网络（Deep Neural Network，DNN）、卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）和端到端的神经网络模型。

目前，主要有三种端到端的模型框架：神经网络传感器（Neural Transducer，NT），基于注意力的编码器-解码器（Attention-based Encoder Decoder，AED）和连接时序分类（Connectionist Temporal Classification，CTC）。

NT是CTC的增强版本，引入了预测网络模块，可类比传统语音识别框架中的语言模型，解码器需要把先前预测的历史作为上下文输入。NT训练不稳定，需要更多内存，这可能会限制训练速度。

AED由编码器，解码器和注意力机制模块组成，前者对声学特征进行编码，解码器生成句子，注意力机制用来对齐编码器输入特征和解码状态。业内不少ASR系统架构基于AED。然而，AED模型逐个单元输出，其中每个单元既取决于先前生成的结果，又依赖后续的上下文，这会导致识别延迟。

另外，在实际的语音识别任务中，AED的注意力机制的对齐效果，有时也会被噪声破坏。

CTC的解码速度比AED快，但是由于输出单元之间的条件独立性和缺乏语言模型的约束，其识别率有提升空间。

目前有一些关于融合AED和CTC两种框架的研究，基于编码器共享的多任务学习，使用CTC和AED目标同时训练。在模型结构上，Transformer已经在机器翻译，语音识别，和计算机视觉领域显示了极大的优势。

明略科技的语音技术负责人朱会峰介绍，明略团队重点研究了在CTC和AED融合训练框架下，如何使用Transformer模型来提高识别效果。

明略团队通过可视化分析了不同BLOCK和HEAD之间的注意力信息，这些信息的多样性是非常有帮助的，编码器和解码器中每个BLOCK的输出信息并不完全包含，也可能是互补的。（https://doi.org/10.48550/arXiv.2207.11697）

基于这种洞察，明略团队提出了一种模型结构，Block-augmentedTransformer（BlockFormer），研究了如何以参数化的方式互补融合每个块的基本信息，实现了Weighted Sum of the Blocks Output（Base-WSBO）和Squeeze-and-Excitation moduletoWSBO（SE-WSBO）两种block集成方法。

BlockfomerwithBase-WSBO

SE-WSBO

实验证明，Blockformer模型在中文普通话测试集（AISHELL-1）上，不使用语言模型的情况下实现了4.35%的CER，使用语言模型时达到了4.10%的CER。

AISHELL-1是希尔贝壳开源的中文普通话语音数据库，录音时长178小时，由400名中国不同地域说话人进行录制。Papers with Code网站显示，Blockformer在AISHELL-1上取得SOTA的识别效果，字错率降低到4.10%（使用语言模型时）（https://paperswithcode.com/sota/speech-recognition-on-aishell-1）

明略科技集团CTO郝杰表示，明略的会话智能产品针对基于线上企微会话和线下门店会话的销售场景，语音识别团队聚焦美妆、汽车、教育等行业的场景优化和定制训练，但是也不放松对通用语音识别新框架、新模型的探索，Blockformer模型的这个SOTA效果为语音识别的定制优化提供了一个高起点。

理论语音识别神经网络多任务学习深度学习

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

条件独立性技术

在概率论和统计学中，两事件R和B在给定的另一事件Y发生时条件独立，类似于统计独立性，就是指当事件Y发生时，R发生与否和B发生与否就条件概率分布而言是独立的。换句话讲，R和B在给定Y发生时条件独立，当且仅当已知Y发生时，知道R发生与否无助于知道B发生与否，同样知道B发生与否也无助于知道R发生与否。

来源：维基百科

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

集成方法技术

在统计学和机器学习中，集成方法使用多种学习算法来获得比单独使用任何组成学习算法更好的预测性能。

来源：维基百科

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

多任务学习技术

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

明略科技机构

明略科技是领先的全球企业级数据分析和组织智能服务平台，致力于通过大数据分析挖掘和认知智能技术，推动知识和管理复杂度高的大中型企业进行数字化转型。明略科技企业智能决策平台，通过连接企业中的人与机器，不断积累组织知识资产并将其程序化，最终实现具有分析决策能力的高阶人工智能应用，让组织内部高效运转，实现人机同行的美好世界。

www.mininglamp.com/