2019/04/23 18:23

sailnj编译

比CNN表现更好，CV领域全新卷积操作OctConv厉害在哪里？

CNN卷积神经网络问世以来，在计算机视觉领域备受青睐，与传统的神经网络相比，其参数共享性和平移不变性，使得对于图像的处理十分友好，然而，近日由Facebook AI、新家坡国立大学、360人工智能研究院的研究人员提出的一种新的卷积操作OctConv使得在图像处理性能方面得到了重大突破与提升，OctConv和CNN中的卷积有什么不同呢？

论文下载地址：https://arxiv.org/pdf/1904.05049.pdf

CNN网络中的卷积层主要用来提取图像特征，如下图所示，利用卷积核（也称滤波器）对输入图像的每个像素进行卷积操作得到特征图，由于图像中相邻像素的特征相似性，卷积核横扫每个位置，独立的存储自己的特征描述符，忽略空间上的一致性，使得特征图在空间维度上存在大量的冗余。

图1 普通卷积操作示意图

OctConv主要基于于处理多空间频率的特征映射并减少空间冗余的问题提出的。

原文地址：https://export.arxiv.org/pdf/1904.05049

下面文摘菌将从论文的四个部分展开对OctConv原理的阐述。

Why?—OctConv之诞生

文章摘要（Abstract)部分指出，在自然图像中，信息以不同的频率传输，其中高频率通常以细节进行编码，而较低频率通常以总体结构进行编码，同理卷积层的输出可以看做不同频率的信息混合，在论文中，研究者提出通过频率对特征融合图进行分解，并设计出了一种新的Octave卷积（OctConv）操作，旨在存储和处理在空间上变化缓慢的较低分辨率的特征图，从而降低内存和计算成本。与现存的多尺度方法不同，OctConv是一种单一、通用、即插即用的卷积单元，可以直接代替普通卷积，而无需调整网络结构。

OctConv与那些用于构建更优拓扑或者减少分组或深度卷积中信道冗余的方法是正交和互补的。

实验表明，通过使用OctConv替代普通卷积，能很好的提高语音和图像识别任务中的精度，同时降低内存和计算成本，一个配备有OctConv的ResNet-152能够以仅仅22.2 GFLOP在ImageNet数据集上达到82.5%的top-1分类准确率。

What?—初探OctConv

论文Introduction（介绍）部分基于CNN现存的空间维度冗余问题引出了下图：

图2 论文思路阐述图

（a）动机：研究表明，自然图像可以分解为低空间频率和高空间频率两部分；
（b）卷积层的输出图也可以根据空间频率进行分解和分组；
（c）所提出的多频特征表示将平滑变化的低频映射存储字低分辨率张量中，以减少空间冗余；
（d）所提出的OctConv直接作用于这个表示。它会更新每个组的信息，并进一步支持组之间的信息交换。

具体解释为：如图 2(a) 所示，自然图像可以分解为描述平稳变化结构的低空间频率分量和描述快速变化的精细细节的高空间频率分量。类似地，我们认为卷积层的输出特征映射也可以分解为不同空间频率的特征，并提出了一种新的多频特征表示方法，将高频和低频特征映射存储到不同的组中，如图 2(b) 所示。因此，通过相邻位置间的信息共享，可以安全地降低低频组的空间分辨率，减少空间冗余，如图 2(c) 所示。

How?—再探OctConv

论文Method（方法）部分：octave feature 减少了空间冗余，比原始表示更加紧凑。然而，由于输入特征的空间分辨率不同，传统卷积不能直接对这种表示进行操作。避免这个问题的一种简单方法是将低频部分上采样到原始的空间分辨率，将它与连接起来，然后进行卷积，这将导致额外的计算和内存开销。为了充分利用紧凑的多频特征表示，我们提出 Octave Convolution，它可以直接在分解张量X={X^H，X^L}上运行，而不需要任何额外的计算或内存开销。

Octave Convolution的设计目标是有效地处理相应张量中的低频和高频分量，同时使得Octave特征表示的高频分量和低频分量之间能够有效通信。设X,Y为分解输入和输出张量，那么输出的高频和低频信号将由下式给出：

其中H→H，L→L表示自身的更新，L→H，H→L表示高频与低频分量之间的通信，如图3所示绿色箭头表示信息更新，红色箭头表示两个频率之间的信息交换。

图3 Octave Convolution示意图

同理，我们将卷积核分解为高频和低频W={W^H,W^L}，W^H=W^H→H+W^L→H；W^L=W^L→L+W^H→L，如图4所示：

图3 Octave Convolution kernel示意图

对于低频特征所使用的低频所占比例a的不同，当a=0时（即没有低频成分），OctConv就会退化为普通卷积。经过实验评估k×k Octave 卷积核与普通卷积核等价，即二者具有完全相同的参数量。

To do—Just do it

论文的实验部分：研究人员验证了提出的Octave卷积对于2D和3D网络的效能和效率，首先展示了ImageNet图像分类的控制变量研究，然后将其与当前最优的方法进行了比较。之后研究人员使用Kinetics-400和Kinetics-600数据集，展示了提出的OctConv也适用于3D CNN。

图4 ImageNet上的控制变量结果图

上表为论文中的表8，视频中的动作识别、控制变量研究结果统计。

大数据文摘

秉承“普及数据思维，传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术，形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

理论CNN计算机视觉

相关数据

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科

上采样技术

在数字信号处理中，上采样、扩展和内插是与多速率数字信号处理系统中的重采样过程相关的术语。上采样可以与扩展同义，也可以描述整个扩展和过滤（插值）过程。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

奇虎360机构

360公司成立于2005年8月，创始人周鸿祎 2011年3月30日在纽交所成功上市 2018年2月28日，回归A股上市，上证交易所（601360）是中国第一大互联网安全公司，用户6.5亿，市场渗透率94.7% 中国第一大移动互联网安全公司，用户数超过8.5亿中国领先的AIoT公司，将人工智能技术应用于智能生活、家庭安防、出行安全、儿童安全等多个领域

http://smart.360.cn/cleanrobot/