2022/07/21 08:35

David W. Romero等作者陈萍编辑

解决CNN固有缺陷， CCNN凭借单一架构，实现多项SOTA

本文提出了迈向通用 CNN 架构：CCNN，可以用于任意分辨率、长度和维度的数据。

在 VGG、U-Net、TCN 网络中... CNN 虽然功能强大，但必须针对特定问题、数据类型、长度和分辨率进行定制，才能发挥其作用。我们不禁会问，可以设计出一个在所有这些网络中都运行良好的单一 CNN 吗？

本文中，来自阿姆斯特丹自由大学、阿姆斯特丹大学、斯坦福大学的研究者提出了 CCNN，单个 CNN 就能够在多个数据集（例如 LRA）上实现 SOTA ！

1998 年 LeCun 等人提出卷积神经网络 (CNN)，这是一类广泛用于机器学习的深度学习模型。由于 CNN 具有高性能和高效率等特点，使其在跨序列、视觉和高维数据的多个应用程序中实现 SOTA 性能。然而，CNN（以及一般的神经网络）存在一个严重缺陷，这些架构必须针对特定应用进行定制，以便处理不同的数据长度、分辨率和维度。这反过来又导致大量特定于任务的 CNN 架构出现。

数据可以有许多不同的长度，例如图像可以是 32x32 或 1024x1024。标准 CNN 存在的问题是，它们的卷积核是局部的，这需要为每个长度定制一个精心选择的步长和池化层来捕获整个上下文自定义架构。此外，许多数据本质上是连续的，在不同的分辨率下具有相同的语义，例如图像可以在任意分辨率下捕获，并具有相同的语义内容，音频可以在 16kHz 或 44.1kHz 采样，但人耳听起来仍然是相同的。

然而，由于卷积核的离散性，传统的 CNN 不能跨分辨率使用。当考虑具有相同 CNN 的不同维度数据时，这两个问题会进一步加剧，例如序列（1D）、视觉（2D）和高维数据（3D、4D），因为不同的维度以不同的特征长度和分辨率运行，例如一秒音频的长度很容易达到 16000，这与基准数据集中的图像大小形成强烈对比。

在本文中，研究者提出了迈向通用 CNN 架构。其目标是构建一个单一的 CNN 架构，可以用于任意分辨率、长度和维度的数据。标准 CNN 需要特定于任务的架构，因为其卷积核的离散性将内核绑定到特定的数据分辨率，并且由于构建大型离散卷积核所需的大量参数，它们不适合对全局上下文进行建模。

因此，为了构建一个通用的 CNN 架构，关键是开发一个分辨率不可知的卷积层，该卷积层能够以参数有效的方式对远程依赖关系进行建模。该研究入选 ICML 2022 。

论文地址：https://arxiv.org/pdf/2206.03398.pdf
代码地址：https://github.com/david-knigge/ccnn

本文的贡献如下：

该研究提出 Continuous CNN（CCNN）：一个简单、通用的 CNN，可以跨数据分辨率和维度使用，而不需要结构修改。CCNN 在序列 (1D)、视觉 (2D) 任务、以及不规则采样数据和测试时间分辨率变化的任务上超过 SOTA；
该研究对现有的 CCNN 方法提供了几种改进，使它们能够匹配当前 SOTA 方法，例如 S4。主要改进包括核生成器网络的初始化、卷积层修改以及 CNN 的整体结构。

连续核卷积

连续核卷积将小型神经网络

作为核生成器网络，同时将卷积核参数化为连续函数。该网络将坐标

映射到该位置的卷积核值：

（图 1a）。通过将 K 个坐标

的向量通过 G_Kernel，可以构造一个大小相等的卷积核 K，即

。随后，在输入信号

和生成的卷积核

之间进行卷积运算，以构造输出特征表示

，即

。

任意数据维度的一般操作。通过改变输入坐标 c_i 的维数 D，核生成器网络 G_Kernel 可用于构造任意维数的卷积核。因此可以使用相同的操作来处理序列 D=1、视觉 D=2 和更高维数据 D≥3。

不同输入分辨率的等效响应。如果输入信号 x 有分辨率变化，例如最初在 8KHz 观察到的音频现在在 16KHz 观察到，则与离散卷积核进行卷积以产生不同的响应，因为核将在每个分辨率下覆盖不同的输入子集。另一方面，连续核是分辨率无关的，因此无论输入的分辨率如何，它都能够识别输入。

当以不同的分辨率（例如更高的分辨率）呈现输入时，通过核生成器网络传递更精细的坐标网格就足够了，以便以相应的分辨率构造相同的核。对于以分辨率 r (1) 和 r (2) 采样的信号 x 和连续卷积核 K，两种分辨率下的卷积大约等于与分辨率变化成比例的因子：

CCNN：在 ND 中建模远程依赖关系

具有连续核卷积的残差块改进。该研究对 FlexNet 架构进行了修改，其残差网络由类似于 S4 网络的块组成。CCNN 架构如下图 2 所示。

基于这些观察，该研究构建了 FlexConv 的深度（depth-wise）可分离版本，其中通道（channel-wise）卷积是使用核生成器网络

生成的核计算的，之后是从 N_in 到 N_out 进行逐点卷积。这种变化允许构建更广泛的 CCNN—— 从 30 到 110 个隐藏通道，而不会增加网络参数或计算复杂度。

正确初始化核生成器网络 G_Kernel。该研究观察到，在以前的研究中核生成器网络没有正确初始化。在初始化前，人们希望卷积层的输入和输出的方差保持相等，以避免梯度爆炸和消失，即 Var (x)=Var (y)。因此，卷积核被初始化为具有方差 Var (K)=gain^2 /(in channels ⋅ kernel size) 的形式，其增益取决于所使用的非线性。

然而，神经网络的初始化使输入的 unitary 方差保留在输出。因此，当用作核生成器网络时，标准初始化方法导致核具有 unitary 方差，即 Var (K)=1。结果，使用神经网络作为核生成器网络的 CNN 经历了与通道⋅内核大小成比例的特征表示方差的逐层增长。例如，研究者观察到 CKCNNs 和 FlexNets 在初始化时的 logits 大约为 1e^19。这是不可取的，这可能导致训练不稳定和需要低学习率。

为了解决这个问题，该研究要求 G_Kernel 输出方差等于 gain^2 /（in_channels⋅kernel_size）而不是 1。他们通过、

重新加权核生成器网络的最后一层。因此，核生成器网络输出的方差遵循传统卷积核的初始化，而 CCNN 的 logits 在初始化时呈现单一方差。

实验结果

如下表 1-4 所示，CCNN 模型在所有任务中都表现良好。

首先是 1D 图像分类 CCNN 在多个连续基准上获得 SOTA，例如 Long Range Arena、语音识别、1D 图像分类，所有这些都在单一架构中实现的。CCNN 通常比其他方法模型更小架构更简单。

然后是 2D 图像分类：通过单一架构，CCNN 可以匹配并超越更深的 CNN。

对 ND 进行远程依赖建模的重要性。原则上可以将所有任务视为不考虑 2D 结构的序列任务，该研究只需改变进入核生成器网络的坐标维数，就可以在多维空间上轻松定义 CCNN。有趣的是，该研究观察到，通过在 LRA 基准测试中考虑图像和 Pathfinder 任务的 2D 特性，可以获得更好的结果（上表 3）。

在具有 2D 图像的 PathFinder 中，最大的 CCNN 获得了 96.00% 的准确率，比之前 SOTA 高出近 10 个点，并在扁平图像上的表现明显优于 CCNN。

此外，在原始 2D 数据上训练的模型显示出比它们的序列对应物更快的收敛（图 3）。具有小卷积核的 2D CNN，例如 ResNet-18，由于中间池化层缺乏细粒度的全局上下文建模，无法解决 Pathfinder。

理论CNN

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

池化技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源：cs231n

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

VGG技术

2014年，牛津大学提出了另一种深度卷积网络VGG-Net，它相比于AlexNet有更小的卷积核和更深的层级。AlexNet前面几层用了11×11和5×5的卷积核以在图像上获取更大的感受野，而VGG采用更小的卷积核与更深的网络提升参数效率。VGG-Net 的泛化性能较好，常用于图像特征的抽取目标检测候选框生成等。VGG最大的问题就在于参数数量，VGG-19基本上是参数量最多的卷积网络架构。VGG-Net的参数主要出现在后面两个全连接层，每一层都有4096个神经元，可想而至这之间的参数会有多么庞大。

来源：7大类深度CNN架构创新综述

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

学习率技术

在使用不同优化器（例如随机梯度下降，Adam）神经网络相关训练中，学习速率作为一个超参数控制了权重更新的幅度，以及训练的速度和精度。学习速率太大容易导致目标（代价）函数波动较大从而难以找到最优，而弱学习速率设置太小，则会导致收敛过慢耗时太长

来源：Liu, T. Y. (2009). Learning to rank for information retrieval. Foundations and Trends® in Information Retrieval, 3(3), 225-331. Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科