基于Keras的关联神经网络CorrNet综合指南

利用多模态数据提升机器学习表现是一个值得关注的问题。本教程介绍了一种可同时图像和音频数据表征的网络——CorrNet,并提供了相应的实现代码。

人与动物都有这五种共同的感官:视觉、听觉、味觉、嗅觉和触觉。除此之外我们还有其它诸如平衡感、加速感和时间感等等。人类大脑无时不刻的在处理所有来自这些感官源的信息,这些感官中的每一个都会影响我们的决策过程。

任何对话中,唇部运动、面部表情和声带发声同时有助于充分理解说话者所说的词汇的意义。我们甚至可以在无声状况下单凭观察唇部运动来理解词汇,此时这一视觉信息不仅仅是补充信息,而更加是一种必要信息了。

这一现象在「麦格克效应(McGurk effect)」的一个例子中首次提出:当一个视觉可见的音节/ga/在配音时发作了/ba/,多数人听到的音节是却是/da/。想要使机器学习模型达到人类这样的性能,就需要利用各种数据源来进行训练。

在机器学习中,这些来自不同异构源的数据类型称为多模态数据,如语音识别中的音频和视觉信息。由于多模态数据可能由不同维度和类型的数据构成,往往难以在训练中直接使用。因此许多研究致力于解决多模态数据的通用表示。

学习多视图数据的通用表示有助于若干下游应用,如对视频及其对应的音频的通用表示进行学习,相比于单纯使用音频而言可以生成更加精确的字幕。那么,怎样学习这种通用表示呢?

关联神经网络(CorrNet)

CorrNet 示意图。尝试学习两种数据视图的共同表示,并且从该编码表示重构两种视图。

相关神经网络(CorrNet)是学习通用表示的一种方法。它的架构与传统的单视图深度自动编码器几乎相同。但它为每种数据模态都构建了编解码对。

模型架构 

考虑一个双视图输入,Z = [Ia, Iv],其中,Ia 和 Iv 分别是两种不同的数据视图,如音频和视频。下图所示是在该数据输入时 CorrNet 的一个简单架构。


在双模态数据 Z = [Ia, Iv] 的 CorrNet 示例中,Ia 和 Iv 是两个不同视图的数据(如音频和视频),其中编码器和解码器都是单层的。H 为编码表示,Ha= f( Wa.Ia+b) 为 Ia 的编码表示,f() 是任意非线性函数(如 sigmoid、tanh 等)。Hv = f( Wa.Ia+b) 同上。双模态数据Z的通用表示为:H = f( Wa.Ia + Wv.Iv + b)。

在解码部分,模型试图从通用表示*H*来重建输入,可以用以下两个公式表示:

I』a = g(W』a.H+b』),I』v = g(W』vH+b』)。

其中 g() 为任意激活函数,I』a **和 I』v 是经过重建得到的输入。 

训练

在训练阶段,可以基于三种损失来计算梯度:

  • 最小化自重建误差,也就是将 Ia 到 Ia 和 Iv 到 Iv 重建的误差最小化。

  • 最小化交叉重建误差,也就是将 Iv 到 Ia 和 Ia 到 Iv 重建的误差最小化。

  • 最大化两个视图的隐藏表示之间的相关性,也就是最大化 Ha 和 Hv 之间的相关性。

最终得到的损失函数为:

此处,Lr() 表示重建损失,可以选择均方误差(MSE)或者平均绝对误差(MAE)。目标就是最小化该损失函数。并且我们想要提升相关性时,可以将它从损失中减去,也就是说,相关性越大,损失越小。

CorrNet 实现

实现可以分为三个部分:建模、设置损失函数和训练。

建模

在建模阶段需要创建自动编码架构。首先,导入所有需要的包。

from *keras *import  *Model*
from *keras.layers import  Input,Dense,concatenate,Add*
from *keras *import backend as *K,activationsfrom tensorflow* 
import *Tensor *as Tfrom* keras.engine.topology* 
import *Layer*
import numpy as *np*

然后创建 CorrNet 架构。简单起见,架构中只包含单层编码器和解码器。

class *ZeroPadding*(Layer):
     def *__init__*(self, **kwargs):
          super(ZeroPadding, self).__init__(**kwargs)     

     def *call*(self, x, mask=None):
          return K.zeros_like(x) 

     def *get_output_shape_for*(self, input_shape):
          return input_shape

#inputDimx,inputDimy are the dimentions two input modalities 

inpx = *Input*(*shape*=(inputDimx,))           
inpy = *Input*(*shape*=(inputDimx,)) 

*#Encoder*                
hl = *Dense*(hdim_deep,*activation*='relu')(inpx)                              
hr = *Dense*(hdim_deep,*activation*='relu')(inpy)                             
h =  Add()([hl,hr]) 

*#Common representation/Encoded representation

**#decoder
*recx = *Dense*(inputDimx,activation='relu')(h)                                         
recy = *Dense*(inputDimy,activation='relu')(h)
*CorrNet* = *Model*( [inpx,inpy],[recx,recy,h])

*CorrNet*.summary()
'''we have to create a separate model for training this *CorrNet*
As during training we have to take gradient from 3 different loss function and which can not be obtained from signle input.If you look closely to the loss function, 
we will see it has different input parameter'''

[recx0,recy0,h1] = *CorrNet*( [inpx, inpy])
[recx1,recy1,h1] = *CorrNet*( [inpx, ZeroPadding()(inpy)])
[recx2,recy2,h2] = *CorrNet*( [ZeroPadding()(inpx), inpy ]) 

H= *concatenate*([h1,h2])

*model* = Model( [inpx,inpy],[recx0,recx1,recx2,recy0,recy1,recy2,H])

现在来为模型写相关损失函数

编译和训练

现在对模型进行编译和训练

model.*compile*(*loss*=[square_loss,square_loss,square_loss,  square_loss,square_loss,square_loss,correlationLoss],*optimizer*="adam")
model.*summary*()
'''
Suppose you have already prepared your data and kept one moadlity data in Ia(e.g. Audio) and another in Iv( e.g. Video).To be used by this model Audios and videos must be converted into 1D tensor.
'''
model.*fit*([Ia,Iv],[Ia,Ia,Ia,Iv,Iv,Iv,np.ones((Ia.shape[0],Ia.shape[1]))],nb_epoch=100)
'''
*np.ones((Ia.shape[0],Ia.shape[1]))* is fake tensor that will be   passed to *correlationLoss *function but will have no use
using this model we can generate Ia to Iv.For example, from video Iv we can generate corresponding audio Ia
np.zeros(Ia.shape) gives tensors of 0 of dimestions same as output tensor *audio*  
''' 

*audio*,_,_ = *CorrNet.*predict([np.zeros(Ia.shape),Iv])

经过训练,模型所学习到的通用表示可以用于不同的预测任务。比如通过 CorrNet 学习到的通用表示可以用于跨语言文档分类或音译等价检测。许多研究都表明使用通用表示可以提高性能。

此外,它还可以用于数据生成。比如,某个数据集中包含 10000 个音频片段及其对应的视频、5000 个丢失对应视频的音频片段以及 5000 个丢失对应音频的视频。此时,我们就可以用那 10000 个包含对应视频的音频片段来训练一个 CorrNet,并以此来生成数据集中丢失的音频和视频。


原文链接:https://towardsdatascience.com/a-comprehensive-guide-to-correlational-neural-network-with-keras-3f7886028e4a

入门代码神经网络Keras
2
相关数据
自动编码器技术

自动编码器是用于无监督学习高效编码的人工神经网络。 自动编码器的目的是学习一组数据的表示(编码),通常用于降维。 最近,自动编码器已经越来越广泛地用于生成模型的训练。

激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

推荐文章
暂无评论
暂无评论~