CVPR2020|CMU & HKUST 提出binary网络自动化搜索,同时实现超高压缩与高精度

作者:Hai Phan, Zechun Liu, Dang Huynh, Marios Savvides, Kwang-Ting Cheng, Zhiqiang Shen

这项工作由卡内基梅隆大学,香港科技大学合作完成,目的是通过网络自动化搜索,找到在已知网络的权重(weight)和激活值(activation)都为二值化{-1,+1}的情况下,搜索最能充分利用二值化卷机层的表达能力的网络结构。该工作是第一篇在depth-wise的卷积中通过搜索group conv来实现网络二值化的算法。实验结果表明,本方法能取得和接近XNOR-Net 的精度,而所需的FLOPs仅约为XNOR-Net 的1/5。借助于Matrix层面的参数共享机制,整个搜索过程只需要~30 GPU hours.

地址:https://arxiv.org/pdf/2005.06305.pdf

深度卷积神经网络(CNN)量化是一种常用的网络压缩方法,而网络二值化是极端情况下的量化,即每个 weight 和 activation 仅用-1 或+1 表示。一方面,在这种极端压缩的情况下,网络的表达能力会受到非常大的限制。另一方面,近来越来越多的学者以及工程师更加关心如何压缩哪些原本就经过了紧凑型网络设计的小网络,如MobileNet。这就给网络量化提出了新的挑战。

为了应对这一挑战,本文从MobileNet网络框架出发,根据二值化网络特性,搜索最佳网络结构。

在分析二值化网络的表达能力的时候我们发现,当二值化卷机层是depth-wise 卷积时,输出的feature map中的激活值的取值范围将局限于(-3x3,3x3)之间,由此也导致了binarize MobileNet 难以收敛。而如果把MobileNet中的depth-wise 卷积替换成全卷积,则会导致參数量增加,从而降低二值化网络的高压缩率。

为了取得压缩率与网络精度之间的权衡,我们认为,每一层卷积对应的feature的抽象化程度不同,因此,对于表达能力的要求也不一样。基于这个假设,我们提出用网络自动搜索(NAS)的方法搜索每一层的组卷积的最优group数,作为depth-wise 卷积和全卷积之间的trade-off.

我们的框架基于one-shot architecture search,包含三步:

第一步:训练一个参数共享网络

第二步:用遗传算法在参数共享网络中搜索出最优的每一层组卷积的 group 数目

第三步:训练搜索得到的最优网络。

特别的,在训练参数共享网络时,我们为组卷积搜索设计了matrix-level 的参数共享。如图所示,在一个输入6通道输出6通道的卷机层中,可以选取的group数目为1,2,3,6。group=1时为全卷积,训练参数为存储的所有weights。当group=6时为depth-wise卷积,训练参数为对角线上的所选weights。为了方便直观化表示,下图的每一个cell代表了一个3x3的卷积核。

实验结果

从表中的比较可以看到, 由本文搜索算法得到的网络结构可以取得超过其他 State-of-the-art 二值化方法的精度

并且所需要的计算资源少于之前众多BNN方法。

最后,HKUST Vision and System Design Lab正在招有硬件经验的同学来当博士后,由Tim CHENG 老师直接指导。如果你曾在DAC,ICCAD或同等硬件会议/期刊上发表过一作论文,欢迎发送简历到zliubq@connect.ust.hk

理论CVPR 2020
相关数据
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

二值化技术

二值化是将像素图像转换为二进制图像的过程。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

遗传算法技术

遗传算法是计算数学中用于解决最优化的搜索算法,是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择以及杂交等。 遗传算法通常实现方式为一种计算机模拟。对于一个最优化问题,一定数量的候选解可抽象表示为染色体,使种群向更好的解进化。

香港科技大学机构

香港科技大学(The Hong Kong University of Science and Technology),简称港科大(HKUST),为东亚研究型大学协会、环太平洋大学联盟、亚洲大学联盟、中国大学校长联谊会、京港大学联盟、粤港澳高校联盟重要成员,并获AACSB和EQUIS双重认证,是一所亚洲顶尖、国际知名的研究型大学。该校以科技和商业管理为主、人文及社会科学并重,尤以商科和工科见长。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

合合信息机构
推荐文章
暂无评论
暂无评论~