参与张倩参与路雪参与王淑婷

仅17 KB、一万个权重的微型风格迁移网络!

今天 reddit 上一篇帖子引起了热议,博主 jamesonatfritz 称他将原本具备 1.7M 参数的风格迁移网络减少到只有 11,868 个参数,该网络仍然能够输出风格化的图像。且量化后的最终网络体积仅有 17 kB,非常适合移动 app。

jamesonatfritz 想解决神经网络的过参数化问题,想要创建体积小但性能优的神经网络。他所试验的第一个任务便是艺术风格迁移。

  • GitHub 链接:https://github.com/fritzlabs/fritz-style-transfer

现在有很多用来训练艺术风格迁移模型的现成工具,还有上千种开源实现。其中的多数工具利用 Johnson 等人在《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》中提出的网络架构的变体来实现快速、前馈的风格化。因此,多数迁移模型的大小是 7MB。对于你的应用来说,这个负担并非不可承受,但也并非无足轻重。

研究表明,神经网络的体积通常远远大于所需,数百万的权重中有很多并不重要。因此作者创造了一个体积大大缩小的可靠风格迁移模型:一个只有 11686 个训练权重的 17KB 神经网络

左:原图;中:来自上述 17KB 模型的风格化图像;右:来自 7MB 模型的风格化图像。

快速概览:

原始模型:

  • 大小:7MB

  • 权重数:1.7M

  • 在 iPhone X 上的速度:18 FPS

小模型:

  • 大小:17KB

  • 权重数:11,868

  • 在 iPhone X 上的速度:29 FPS

如何缩小风格迁移模型

作者主要使用了两种技术,而且都可以泛化到其他模型:

1. 大刀阔斧地修剪层和权重

2. 通过量化将 32 位浮点权重转换为 8 位整型

修剪策略

卷积神经网络通常包含数百万甚至上亿个需要在训练阶段进行调整的权重。通常来讲,权重越多准确率越高。但这种增加权重提高准确率的做法非常低效。谷歌 MobileNetV2 的 stock 配置具有 347 万个权重,内存占用达 16MB。InceptionV3 架构大小约为前者的 6 倍,具备 2400 万个权重,内存占用达 92MB。尽管多了 2000 多万个权重,但 InceptionV3 在 ImageNet 上的 top-1 分类准确率只比 MobileNetV2 高出 7 个百分点(80% vs 73%)。

因此,我们可以假设神经网络中的多数权重没有那么重要并将其移除。但重点是怎么做呢?我们可以选择在三个层面进行修剪:单个权重、层、块。

权重层面:假设某个神经网络上的多数(>95%)权重都没有什么用。如果能找出那些对准确率有影响的权重,就可以将其留下并将其他移除。

层层面:每个层中都包含一些权重。例如,2D 卷积层具有一个权重张量,即卷积核,用户可以定义其宽度、高度和深度。缩小卷积核可以减小整个网络的大小。

块层面:多个层通常可以结合成可重复利用的子图,即块。以 ResNet 为例,它的名字来源于重复 10-50 次的「残差块」。在块层面进行修剪可以移除多个层,从而一次性移除多个参数

在实践中,稀疏张量运算没有很好的实现,因此权重层面的修剪没有多大价值。那么就只剩下层和块层面的修剪了。

实践中的修剪

作者使用的层修剪技术是引入 width multiplier 作为超参数。width multiplier 最初由谷歌在其论文《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision》中提出,非常简单、高效。

width multiplier 利用一个恒定系数调整每个卷积层中的卷积核数量。对于给定的层及 width multiplier alpha,卷积核数量 F 变为 alpha * F。

有了这个超参数,我们就可以生成一系列架构相同但权重数不同的网络。训练每种配置,就可以在模型速度、大小及准确率之间做出权衡。

下面是作者模仿 Johnson 等人在《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》提出的网络架构构建快速风格迁移模型的方法,不同之处在于添加了 width multiplier 作为超参数

@classmethod
def build(
        cls,
        image_size,
        alpha=1.0,
        input_tensor=None,
        checkpoint_file=None):
    """Build a Transfer Network Model using keras' functional API.
    Args:
        image_size - the size of the input and output image (H, W)
        alpha - a width parameter to scale the number of channels by
    Returns:
        model: a keras model object
    """
    x = keras.layers.Input(
        shape=(image_size[0], image_size[1], 3), tensor=input_tensor)
    out = cls._convolution(x, int(alpha * 32), 9, strides=1)
    out = cls._convolution(out, int(alpha * 64), 3, strides=2)
    out = cls._convolution(out, int(alpha * 128), 3, strides=2)
    out = cls._residual_block(out, int(alpha * 128))
    out = cls._residual_block(out, int(alpha * 128))
    out = cls._residual_block(out, int(alpha * 128))
    out = cls._residual_block(out, int(alpha * 128))
    out = cls._residual_block(out, int(alpha * 128))
    out = cls._upsample(out, int(alpha * 64), 3)
    out = cls._upsample(out, int(alpha * 32), 3)
    out = cls._convolution(out, 3, 9, relu=False, padding='same')
    # Restrict outputs of pixel values to -1 and 1.
    out = keras.layers.Activation('tanh')(out)
    # Deprocess the image into valid image data. Note we'll need to define
    # a custom layer for this in Core ML as well.
    out = layers.DeprocessStylizedImage()(out)
    model = keras.models.Model(inputs=x, outputs=out)

注意,模型构建器类的其余部分没有显示。

当 alpha=1.0 时,得到的网络包含 170 万个权重。当 alpha=0.5 时,得到的网络仅有 424,102 个权重

你可以构建一些宽度参数很小的网络,但是也有相当多的重复块。作者决定修剪掉一些,但实际操作后却发现不能移除太多。即使参数量保持不变,较深的网络能够产生更好的结果。作者最终删除了五个残差块中的两个,并将每层的默认滤波器数量减少至 32 个。得到的微型网络如下所示:

@classmethod
def build(
        cls,
        image_size,
        alpha=1.0,
        input_tensor=None,
        checkpoint_file=None):
    """Build a Small Transfer Network Model using keras' functional API.
    This architecture removes some blocks of layers and reduces the size
    of convolutions to save on computation.
    Args:
        image_size - the size of the input and output image (H, W)
        alpha - a width parameter to scale the number of channels by
    Returns:
        model: a keras model object
    """
    x = keras.layers.Input(
        shape=(image_size[0], image_size[1], 3), tensor=input_tensor)
    out = cls._convolution(x, int(alpha * 32), 9, strides=1)
    out = cls._convolution(out, int(alpha * 32), 3, strides=2)
    out = cls._convolution(out, int(alpha * 32), 3, strides=2)
    out = cls._residual_block(out, int(alpha * 32))
    out = cls._residual_block(out, int(alpha * 32))
    out = cls._residual_block(out, int(alpha * 32))
    out = cls._upsample(out, int(alpha * 32), 3)
    out = cls._upsample(out, int(alpha * 32), 3)
    out = cls._convolution(out, 3, 9, relu=False, padding='same')
    # Restrict outputs of pixel values to -1 and 1.
    out = keras.layers.Activation('tanh')(out)
    # Deprocess the image into valid image data. Note we'll need to define
    # a custom layer for this in Core ML as well.
    out = layers.DeprocessStylizedImage()(out)
    model = keras.models.Model(inputs=x, outputs=out)

带有宽度参数的较小风格迁移网络。

通过反复尝试,作者发现仍然可以用上述架构实现良好的风格迁移,一直到宽度参数为 0.3,在每一层上留下 9 个滤波器。最终结果是一个只有 11,868 个权重神经网络。任何权重低于 10000 的网络都不能持续训练,并且会产生糟糕的风格化图像。

值得一提的是,剪枝技术是在网络训练之前应用的。在训练期间或训练后反复修剪,你可以在很多任务上实现更高的性能。

量化

最后一段压缩是在网络训练完成后进行的。神经网络权重通常存储为 64 位或 32 位浮点数。量化过程将每一个浮点权重映射到具有较低位宽的整数。从 32 位浮点权重变为 8 位整型,使得存储大小减少了 4 倍。作者利用 Alexis Creuzot 在博客中提出的方法(https://heartbeat.fritz.ai/reducing-coreml2-model-size-by-4x-with-quantization-in-ios12-b1c854651c4),在不怎么影响风格的情况下使浮点数降低到了 8 位量化。

现在所有主要的移动框架都支持量化,如 TensorFlow Mobile、TensorFlow Lite、Core ML 和 Caffe2Go。

最终结果

该微型网络架构有 11,868 个参数,相比之下,Johnson 最初的模型具有 170 万个参数,大小为 1.7MB。当转化为 Core ML 并量化时,最终大小仅为 17KB——为原始大小的 1/400。以下是在梵高的《Starry Night》上的训练结果。

此微型风格迁移结果的实时视频可在 Heartbeat App 上查看:

http://bit.ly/heartbeat-ios

作者惊讶地发现,尽管尺寸相差 400 倍,但在 iPhone X 上,这款微型模型的运行速度仅快了 50%。原因可能是计算与这一通用架构相关,也可能是将图像迁移到 GPU 进行处理时造成的。

如果你对结果表示怀疑,可以自己下载并运行此微型模型。甚至训练自己的模型!

  • 下载地址:https://github.com/fritzlabs/fritz-style-transfer/blob/master/example/starry_night_640x480_small_a03_q8.mlmodel

总而言之,作者用两种简单的技术将风格迁移神经网络的规模减小了 99.75%。使用简单的 width multiplier 超参数修剪层,训练后的权重从 32 位浮点数量化为 8 位整数。未来,作者期待看到将这些方法泛化到其它神经网络的效果。风格迁移相对简单,因为「准确率」肉眼可见。对于图像识别这样更加可以量化的任务而言,如此极端的修剪可能带来更明显的性能下降。

Reddit 讨论

这篇帖子下有一些 reddit 网友对该项目提出了质疑:

gwern:

看你的博客,剪枝部分似乎没有移除任何层,只是更改了层的宽度/滤波器,然后对所有参数进行量化。如果所有层都在(因为你没有做任何类似于训练较宽的浅层网络的工作来模仿原始深度教师网络),那么它们仍将从后续计算的每一层中引入大量延迟,即使每一层都很小。(由于你可以在手机 GPU 上安装更多模型,每个模型使用较少的 FLOPS,因此整体吞吐量会变得更好。但是每个模型的迭代仍然需要一段时间,在特定大小之后,每一层基本上是即时的。)

jamesonatfritz 回复:

你说得对,滤波器剪枝部分确实没有移除层,但是我去掉了两个残差块,从而消除了一些层。整体 FLOPs 的降低情况不如全部权重数量的减少情况,这一点你说得对。不幸的是,Apple 没法让你较好地控制模型运行的位置。你无法强制该模型使用 GPU。一些启发式方法导致较小的模型仅在 CPU 上运行,这是可能的。

gwern:

「去掉了两个残差块,从而消除了一些层。」

你借此获得了一些加速,但是使用更扁平的模型或许会实现更多加速。

jamesonatfritz 回复:

确实如此。我试过的最扁平模型只有一个卷积层、一个残差模块和一个上采样模块,但我发现这些变体无法收敛

gwern:

这似乎有些过了:只有一个层有些过于难了。我想的是三四个层这样,在预训练风格迁移模型的确切像素输出上进行训练。或许值得一试。

Ikuyas:

这个方法和直接使用小模型有什么区别吗?我确定使用 11,868 个参数进行训练结果会更好。另外,1.7M 参数太大了,每个参数的贡献估计会很小。但是,真实情况是只有几百个参数是真正重要的,其他参数只是到处吸收一点微小的噪声。

从标准回归的角度来看,这似乎是完美的预期结果。

作者回复:

我应该在文章里写清楚的,事实上你所说的正是我所做的。剪枝发生在训练之前。反直觉的一件事是,实际上使用较少的参数从头开始训练模型无法确保能得到一样的结果。尽管一小部分权重比较重要,但你很难提前知道哪些权重是重要的。详情参见论文:《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。

Ikuyas:

神经网络中的参数缺乏有意义的解释,这是第一堂机器学习课程中就学过的。这并不反直觉,而是预料之中。剪枝后的参数甚至并不被认为是吸收噪声的神经元。对于标准回归模型来说,噪声有时似乎像是正态分布的实现。而神经网络拟合并不假设任何此类事情。因此使用较少的参数,你可以用完全不同的模型拟合数据。剪枝技术并没有什么用。

工程计算机视觉风格迁移
4
相关数据
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

剪枝技术

剪枝顾名思义,就是删去一些不重要的节点,来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用,如:决策树,神经网络,搜索算法,数据库的设计等。在决策树和神经网络中,剪枝可以有效缓解过拟合问题并减小计算复杂度;在搜索算法中,可以减小搜索范围,提高搜索效率。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

MobileNets技术

MobileNet是专用于移动和嵌入式视觉应用的卷积神经网络,是基于一个流线型的架构,它使用深度可分离的卷积来构建轻量级的深层神经网络。通过引入两个简单的全局超参数,MobileNet在延迟度和准确度之间有效地进行平衡。MobileNets在广泛的应用场景中有效,包括物体检测、细粒度分类、人脸属性和大规模地理定位。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

暂无评论
暂无评论~