中奖彩票，子网络的觉悟

如今，深度学习在机器学习中占有非常重要的地位。但随着对深度学习的要求越来越多，需要的网络层数越来越深，参数越来越多，消耗的计算资源也随之扩张，而这很大程度上阻碍了其产业化应用和推广。

从上世纪 90 年代开始，Yan Lecun 等人【1】首先提出了神经网络剪枝的思想，即将网络中某些对输出结果贡献不大的参数进行剪除。这种方法可以大大提高模型运行速度，但同时会对模型准确度有一定影响。经过近 30 年的研究，现在的神经网络剪枝技术可以减少训练网络时 90% 以上的参数，以减少存储需求，提高模型的推理计算性能。通常的网络剪枝步骤如下图 1 所示，首先训练一个大的、过参数化的模型，然后根据一定的准则对训练过的模型参数进行修剪，最后将修剪过的模型微调以获得失去的精度。

图 1 经典网络剪枝步骤

然而，既然一个网络可以缩小规模，为什么我们不直接训练这个较小的体系结构，使训练更有效率呢？但是人们通过长期实验发现，网络越稀疏，训练越难、学习速度越慢，所以剪枝产生的稀疏体系结构网络很难从一开始就进行训练。

1. 提出「彩票假说」

随着网络剪枝研究的深入，Jonathan Frankle 等人【2】发表了一篇名为《The Lottery Ticket Hypothesis :Finding Sparse Trainable Neural Networks》的论文，并获得了 2019 年 ICLR 最佳论文奖。他们发现了一种标准剪枝技术，可以从庞大的原网络中自然地揭示出子网络，并采用合适的初始化使它们能够有效地训练。这种可训练的子网络及其初始化参数被称为「中奖彩票」，作者用 Lenet、Conv-2、Conv-4、Conv-6 结构验证了「中奖彩票」（图 2 实线）的优势。横轴代表网络的稀疏性 Pm，例如 Pm=25 时 75% 的权值被修剪。中奖票可以较快进行训练，并达到与原网络相似的精度。

专业用户独享

本文为机器之心深度精选内容，专业认证后即可阅读全文

开启专业认证

登录后开启专业认证去登录

理论剪枝神经网络

相关数据

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心