2024/05/09 18:33

ICLR 2024 Oral｜用巧妙的「传送」技巧，让神经网络的训练更加高效

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本论文作者赵博是加州大学圣地亚哥分校的三年级在读博士，其导师为 Rose Yu。她的主要研究方向为神经网络参数空间中的对称性，及其对优化、泛化和损失函数地貌的影响。她曾获 DeepMind 奖学金，并且是高通创新奖学金的决赛入围者。邮箱：bozhao@ucsd.edu

众多神经网络模型中都会有一个有趣的现象：不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释，即某些参数的变换不会影响损失函数的结果。基于这一发现，传送算法（teleportation）被设计出来，它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力，但其背后的确切机制尚不清楚。

近日，来自加州大学圣地亚哥分校、Flatiron Institute、美国东北大学等机构的研究人员发布的《Improving Convergence and Generalization Using Parameter Symmetries》论文中，展示了传送不仅能在短期内加快优化过程，而且能总体上缩短收敛时间。此外，研究还发现，传送到具有不同曲率的最小值可以改善模型的泛化能力，这意味着最小值的曲率与泛化能力之间存在联系。研究者们进一步将传送技术与多种优化算法以及基于优化的元学习相结合，这些结果充分展示了在优化过程中融入参数空间对称性的潜力。

论文链接：https://openreview.net/forum?id=L0r0GphlIL
代码链接：https://github.com/Rose-STL-Lab/Teleportation-Optimization
作者主页：https://b-zhao.github.io/

背景：对称性和传送算法

参数空间对称性（parameter space symmetry）是群 G 在参数空间（Param）上的一个作用，该作用使得损失函数 L 的值保持不变：

对称传送算法（symmetry teleportation）在损失函数水平集中寻找更陡峭的点以加速梯度下降：

传送后，损失值不会改变。然而，梯度和之后的训练轨迹会有所不同。

传送对收敛速度的提高

论文第一部分提供了对传送提高收敛速度的理论证明。

通过传送，随机梯度下降（SGD）会收敛到一个包含多个静止点的盆地，其中通过传送可达的每个点都是静止的。图 1 中的定理提供了损失函数梯度期望值的上限。相比之下，普通 SGD 只能保证存在一个点 wt，使得梯度最终会很小。加入传送后，对于群作用轨道上所有的点，梯度都将很小。

^{图 1}^{：该定理提供了损失函数梯度期望值的上限}

此外，在进行一次传送后，梯度下降的方向与牛顿法（Newton’s method）方向相同。因此，收敛速度具有一个二次收缩项，这是二阶方法的典型特征。相反，如果在相同的假设下省略传送步骤，算法的收敛速度将仅呈现线性收敛。图 2 中的定理展示了传送导致的线性和二次收敛的混合。

^{图 2：}^{该定理展示了传送导致的线性和二次收敛的混合}

通过传送改善泛化能力

在探索机器学习模型优化的过程中，「传送」这一概念最初被提出是为了加速收敛并提高算法的效率。然而，在该论文的第二部分，研究者们将视野扩展到了一个新的目标 —— 提升模型的泛化能力。

泛化能力通常与模型在训练过程中达到的极小值的「锐度」(sharpness) 相关。为了深入理解这一点，研究者们引入了一个新的概念 ——「极小值曲率」(curvature)，并讨论其对泛化的影响。通过观察极小值的锐度、曲率与泛化能力之间的关联，研究者们提出了一种新的方法，将锐度和曲率纳入传送的目标中来提升模型的泛化性能。

图 3 通过可视化的方式展示了一个梯度流 L (w) 和一条极小值上的曲线（γ），这两条曲线的曲率对应着极小值的锐度和曲率。此外，表中还显示了测试集上的损失与锐度或曲率之间的 Pearson 相关性。在三个数据集中，锐度与验证损失呈强正相关，而极小值的曲率则与验证损失呈负相关。这些发现表明，具有较小锐度或较大曲率的极小值，可能会带来更好的泛化效果。

^{图 3：}^{展示了一个梯度流 L (w) 和一条极小值上的曲线（γ）}

这些相关性的一种解释来源于损失地形（loss landscape）在不同数据分布上的变化。当数据分布发生变化导致损失地形变化时，尖锐的极小值损失增加较大（如图 4 右侧所示）。在图 4 中，曲率较大的极小值与变化后的极小值距离更远（如图 4 左侧所示）。

^{图 4}

取得了极小值的属性与泛化能力的相关性后，该研究人员将参数传送到具有不同锐度和曲率的区域，以提高模型的泛化能力。图 5 为在 CIFAR-10 上 SGD 的训练曲线，其中在第 20 个 epoch 进行了一次传送。实线代表平均测试损失，虚线代表平均训练损失。

^{图 5}

传送到更平坦的点略微改善了验证损失。通过传送改变曲率对泛化能力有更显著的影响。传送到曲率较大的点有助于找到具有较低验证损失的极小值，而传送到曲率较小的点则产生相反的效果。这表明至少在局部，曲率与泛化相关。

传送和其他优化器的结合

标准优化器

传送不仅有助于 SGD 的收敛速度。为了展示传送与其他标准优化器的良好兼容性，研究者们使用不同的优化器在 MNIST 上训练了一个三层神经网络，并进行了带传送和不带传送的训练。如图 6 所示，在使用 AdaGrad、带动量的 SGD、RMSProp 和 Adam 时，传送提高了这些算法的收敛速度。

^{图 6：}^{在使用 AdaGrad、带动量的 SGD、RMSProp 和 Adam 时，传送提高了这些算法的收敛速度}

学习传送

受条件编程（conditional programming）和基于优化的元学习（meta-learning）的启发，研究者们还提出了一个元优化器，用于学习在损失水平集中移动参数的位置。这种方法避免了在群流形上优化的计算成本，并改进了现有的仅限于局部更新的元学习方法。

图 7 总结了训练算法。研究人员使用了两个 LSTM 元优化器 (m1, m2) 来学习局部更新 ft 和传送中使用的群元素 gt。在两层 LeakyReLU 神经网络上的实验中，他们使用了不同初始化创建的多个梯度下降轨迹上训练元优化器，并在训练中未见过的新初始值上测试收敛速度。

^{图 7：}^{总结了训练算法}

与基线相比，同时学习两种更新类型（LSTM (update,tele)）比单独学习它们（LSTM (update) 、LSTM (lr,tele)）能够实现更好的收敛速率。

总结

该论文的主要贡献包括传送加速 SGD 收敛的理论保证、极小值曲率的量化及其与泛化相关性的证据、基于传送的改善泛化的算法以及学习传送位置的元学习算法。

传送广泛适用于在损失水平集中搜索具有优秀属性的参数。对称性与优化之间的密切关系开启了许多激动人心的机会。探索传送中的其他目标是一个有潜力的未来方向。其他可能的应用包括将传送扩展到不同的架构，如卷积或图神经网络，以及不同的算法，如基于采样的优化。

工程ICLR 2024 Oral传送算法神经网络

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

随机梯度下降技术

梯度下降（Gradient Descent）是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知，使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。在机器学习中，我们可以利用随机梯度下降的方法来最小化训练模型中的误差，即每次迭代时完成一次评估和更新。这种优化算法的工作原理是模型每看到一个训练实例，就对其作出预测，并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

来源：机器之心

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

LeakyReLU技术

ReLU是将所有的负值都设为零，保留正值；相反，Leaky ReLU是给所有负值赋予一个非零斜率，即x＜0时，y=α·x。

来源：CSDN

动量技术

优化器的一种，是模拟物理里动量的概念，其在相关方向可以加速SGD，抑制振荡，从而加快收敛

来源：An overview of gradient descent optimization algorithms

优化器技术

优化器基类提供了计算梯度loss的方法，并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法，如梯度下降和Adagrad。优化器是提供了一个可以使用各种优化算法的接口，可以让用户直接调用一些经典的优化算法，如梯度下降法等等。优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer（tensorflow下的优化器包）等等这些算法。

来源：维基百科

模型优化技术

像卷积神经网络（CNN）这样的深度学习模型具有大量的参数；实际上，我们可以调用这些超参数，因为它们原本在模型中并没有被优化。你可以网格搜索这些超参数的最优值，但需要大量硬件计算和时间。改进模型的最佳方法之一是基于在你的领域进行过深入研究的专家的设计和体系结构，他们通常拥有强大的硬件可供使用。常见的简单模型优化技巧包括迁移学习、dropout、学习率调整等

来源：机器之心

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/