人与动物都有这五种共同的感官：视觉、听觉、味觉、嗅觉和触觉。除此之外我们还有其它诸如平衡感、加速感和时间感等等。人类大脑无时不刻的在处理所有来自这些感官源的信息，这些感官中的每一个都会影响我们的决策过程。
任何对话中，唇部运动、面部表情和声带发声同时有助于充分理解说话者所说的词汇的意义。我们甚至可以在无声状况下单凭观察唇部运动来理解词汇，此时这一视觉信息不仅仅是补充信息，而更加是一种必要信息了。
这一现象在「麦格克效应（McGurk effect）」的一个例子中首次提出：当一个视觉可见的音节/ga/在配音时发作了/ba/，多数人听到的音节是却是/da/。想要使机器学习模型达到人类这样的性能，就需要利用各种数据源来进行训练。
在机器学习中，这些来自不同异构源的数据类型称为多模态数据，如语音识别中的音频和视觉信息。由于多模态数据可能由不同维度和类型的数据构成，往往难以在训练中直接使用。因此许多研究致力于解决多模态数据的通用表示。
学习多视图数据的通用表示有助于若干下游应用，如对视频及其对应的音频的通用表示进行学习，相比于单纯使用音频而言可以生成更加精确的字幕。那么，怎样学习这种通用表示呢？
关联神经网络（CorrNet）
CorrNet 示意图。尝试学习两种数据视图的共同表示，并且从该编码表示重构两种视图。
相关神经网络（CorrNet）是学习通用表示的一种方法。它的架构与传统的单视图深度自动编码器几乎相同。但它为每种数据模态都构建了编解码对。
模型架构
考虑一个双视图输入，Z = [Ia, Iv]，其中，Ia 和 Iv 分别是两种不同的数据视图，如音频和视频。下图所示是在该数据输入时 CorrNet 的一个简单架构。
在双模态数据 Z = [Ia, Iv] 的 CorrNet 示例中，Ia 和 Iv 是两个不同视图的数据（如音频和视频），其中编码器和解码器都是单层的。H 为编码表示，Ha= f( Wa.Ia+b) 为 Ia 的编码表示，f() 是任意非线性函数（如 sigmoid、tanh 等）。Hv = f( Wa.Ia+b) 同上。双模态数据Z的通用表示为：H = f( Wa.Ia + Wv.Iv + b)。
在解码部分，模型试图从通用表示*H*来重建输入，可以用以下两个公式表示：
I』a = g(W』a.H+b』)，I』v = g(W』vH+b』)。
其中 g() 为任意激活函数，I』a **和 I』v 是经过重建得到的输入。
训练
在训练阶段，可以基于三种损失来计算梯度：
最小化自重建误差，也就是将 Ia 到 Ia 和 Iv 到 Iv 重建的误差最小化。
最小化交叉重建误差，也就是将 Iv 到 Ia 和 Ia 到 Iv 重建的误差最小化。
最大化两个视图的隐藏表示之间的相关性，也就是最大化 Ha 和 Hv 之间的相关性。
最终得到的损失函数为：
此处，Lr() 表示重建损失，可以选择均方误差（MSE）或者平均绝对误差（MAE）。目标就是最小化该损失函数。并且我们想要提升相关性时，可以将它从损失中减去，也就是说，相关性越大，损失越小。
CorrNet 实现
实现可以分为三个部分：建模、设置损失函数和训练。
建模
在建模阶段需要创建自动编码架构。首先，导入所有需要的包。
from *keras *import *Model*
from *keras.layers import Input,Dense,concatenate,Add*
from *keras *import backend as *K,activationsfrom tensorflow*
import *Tensor *as Tfrom* keras.engine.topology*
import *Layer*
import numpy as *np*然后创建 CorrNet 架构。简单起见，架构中只包含单层编码器和解码器。
class *ZeroPadding*(Layer):
def *__init__*(self, **kwargs):
super(ZeroPadding, self).__init__(**kwargs)
def *call*(self, x, mask=None):
return K.zeros_like(x)
def *get_output_shape_for*(self, input_shape):
return input_shape
#inputDimx,inputDimy are the dimentions two input modalities
inpx = *Input*(*shape*=(inputDimx,))
inpy = *Input*(*shape*=(inputDimx,))
*#Encoder*
hl = *Dense*(hdim_deep,*activation*='relu')(inpx)
hr = *Dense*(hdim_deep,*activation*='relu')(inpy)
h = Add()([hl,hr])
*#Common representation/Encoded representation
**#decoder
*recx = *Dense*(inputDimx,activation='relu')(h)
recy = *Dense*(inputDimy,activation='relu')(h)
*CorrNet* = *Model*( [inpx,inpy],[recx,recy,h])
*CorrNet*.summary()
'''we have to create a separate model for training this *CorrNet*
As during training we have to take gradient from 3 different loss function and which can not be obtained from signle input.If you look closely to the loss function,
we will see it has different input parameter'''
[recx0,recy0,h1] = *CorrNet*( [inpx, inpy])
[recx1,recy1,h1] = *CorrNet*( [inpx, ZeroPadding()(inpy)])
[recx2,recy2,h2] = *CorrNet*( [ZeroPadding()(inpx), inpy ])
H= *concatenate*([h1,h2])
*model* = Model( [inpx,inpy],[recx0,recx1,recx2,recy0,recy1,recy2,H])现在来为模型写相关损失函数。
编译和训练
现在对模型进行编译和训练
model.*compile*(*loss*=[square_loss,square_loss,square_loss, square_loss,square_loss,square_loss,correlationLoss],*optimizer*="adam")
model.*summary*()
'''
Suppose you have already prepared your data and kept one moadlity data in Ia(e.g. Audio) and another in Iv( e.g. Video).To be used by this model Audios and videos must be converted into 1D tensor.
'''
model.*fit*([Ia,Iv],[Ia,Ia,Ia,Iv,Iv,Iv,np.ones((Ia.shape[0],Ia.shape[1]))],nb_epoch=100)
'''
*np.ones((Ia.shape[0],Ia.shape[1]))* is fake tensor that will be passed to *correlationLoss *function but will have no use
using this model we can generate Ia to Iv.For example, from video Iv we can generate corresponding audio Ia
np.zeros(Ia.shape) gives tensors of 0 of dimestions same as output tensor *audio*
'''
*audio*,_,_ = *CorrNet.*predict([np.zeros(Ia.shape),Iv])经过训练，模型所学习到的通用表示可以用于不同的预测任务。比如通过 CorrNet 学习到的通用表示可以用于跨语言文档分类或音译等价检测。许多研究都表明使用通用表示可以提高性能。
此外，它还可以用于数据生成。比如，某个数据集中包含 10000 个音频片段及其对应的视频、5000 个丢失对应视频的音频片段以及 5000 个丢失对应音频的视频。此时，我们就可以用那 10000 个包含对应视频的音频片段来训练一个 CorrNet，并以此来生成数据集中丢失的音频和视频。
原文链接：https://towardsdatascience.com/a-comprehensive-guide-to-correlational-neural-network-with-keras-3f7886028e4a
