2022/02/10 15:12

小舟、陈萍编辑

搞强化学习还不了解AutoRL，牛津大学、谷歌等十余位学者撰文综述

来自牛津大学、弗莱堡大学、谷歌研究院等机构的十余位研究者撰文综述 AutoRL。

强化学习 (RL) 与深度学习的结合带来了一系列令人印象深刻的成果，许多人认为（深度）强化学习提供了通向通用智能体的途径。然而，RL 智能体的成功通常对训练过程中的设计选择高度敏感，可能需要繁琐且容易出错的手动调整。这使得将 RL 用于新问题具有挑战性，同时也限制了 RL 的全部潜力。

在机器学习的许多其他领域，AutoML 已经表明可以自动化此类设计选择，并且在应用于 RL 时也产生了有希望的初步结果。然而，自动强化学习 (AutoRL) 不仅涉及 AutoML 的标准应用，还包括 RL 独有的额外挑战，这使得研究者自然而然地产生了一些不同的方法。

AutoRL 已成为 RL 研究的一个重要领域，为从 RNA 设计到围棋等游戏的各种应用提供了希望。由于 RL 中考虑的方法和环境具有多样性，因此许多研究都是在不同的子领域进行的。来自牛津大学、弗莱堡大学、谷歌研究院等机构的十余位研究者撰文试图统一 AutoRL 领域，并提供了通用分类法，该研究详细讨论了每个领域并提出未来研究人员可能感兴趣的问题。

论文地址：https://arxiv.org/pdf/2201.03916.pdf

AutoRL 方法

强化学习理论上可以用于任何任务，包括世界模型未知的环境。然而，这种通用性也是有代价的，其最大的缺点就是智能体往往不能获得环境的真实模型。如果智能体想在一个场景下使用模型，那它必须完全从经验中学习，这会带来很多挑战。智能体探索出来的模型和真实模型之间存在误差，而这种误差会导致智能体在学习到的模型中表现很好，但在真实的环境中表现得不好（甚至很差）。

该研究调查的目的是介绍 AutoRL 领域，AutoRL 可以应对各种挑战：一方面，RL 算法的脆弱性阻碍了其在新领域的应用，尤其是那些从业者缺乏大量资源来搜索最佳配置的领域。在许多情况下，对于完全不可见的问题，手动找到一组中等强度的超参数可能会非常昂贵。AutoRL 已被证明可以在这种情况下帮助解决重要问题，例如设计 RNA。另一方面，对于那些受益于更多计算的人来说，显然增加算法的灵活性可以提高性能。著名的 AlphaGo 智能体已经展示了这一点，该智能体通过使用贝叶斯优化得到了显着改进。

早在 1980 年代，AutoRL 算法就被证明是有效的。然而，最近 AutoML 的流行导致了更先进技术的新生应用。与此同时，最近元学习的流行导致了一系列旨在自动化 RL 过程的工作。

该论文试图提供这些方法的分类，他们希望通过思想的交叉融合来开辟一系列未来的工作，同时也向 RL 研究人员介绍一套技术来提高他们的算法性能。该研究相信 AutoRL 在提高强化学习潜在影响方面发挥着重要作用，无论是在开放式研究和还是在现实应用中。

此外，该研究希望将对 AutoML 感兴趣的研究人员吸引到 AutoRL 社区，特别地，RL 具有非平稳性（non-stationarity），因为智能体正在训练的数据是当前策略的函数。此外，该研究还介绍了 AutoRL 针对特定 RL 问题的环境和算法设计。

该研究调查了 AutoRL 社区以及技术等内容。一般来说，AutoRL 方法大多数都可以通过组合内部循环和外部循环组织起来。每个循环都可以通过黑箱或基于梯度的方法进行优化，然而外部循环的梯度和内部循环的黑箱不能组合在一起，因为内部循环黑箱设置将使梯度不可用，如表 2 和图 2 所示：

如下表 3 所示，该研究按照大类总结了 AutoRL 方法的分类，方法分类将体现在第四章的每一小节

随机 / 网格搜索驱动方法

该研究首先讨论了最简单的方法：随机搜索和网格搜索。随机搜索从搜索空间中随机采样超参数配置，而网格搜索将搜索空间划分为固定的网格点，并对其进行评估。由于其简单性，随机搜索和网格搜索可用于选择超参数列表，评估超参数并选择最佳配置。事实上，网格搜索仍然是 RL 中最常用的方法，网格搜索在绝大多数情况下都会调整超参数，但不应将其视为最有效的方法。但是这些经典方法没有考虑优化问题的潜在非平稳性，下图 3 描述了这个问题：

提高随机搜索性能的一种常见方法是使用 Hyperband，这是一种用于超参数优化的配置评估。它专注于通过自适应资源分配和早停（early-stopping）来加速随机搜索。特别的，Hyperband 使用「Successive Halving」将预算分配给一组超参数配置。Zhang 等人使用随机搜索和 Hyperband 来调整其 MBRL 算法的超参数。

贝叶斯优化

贝叶斯优化（Bayesian Optimization ，BO）是迄今为止最流行的方法之一，主要用于工业应用和各种科学实验。对于 RL 应用程序，BO 最突出的用途之一是调整 AlphaGo 超参数，其中包括蒙特卡洛树搜索 (MCTS) 超参数和时间控制设置。这导致 AlphaGo 在自我对弈中的胜率从 50% 提高到 66.5%。图 4 展示了 RL 案例中贝叶斯优化的一般概念：

演化算法

演化算法被广泛应用于各种优化任务，其机制如图 5 所示：

演化算法经常被用于搜索 RL 算法的超参数。Eriksson 等人使用实数遗传算法 (GA)，通过种群中每个个体的基因编码 RL 算法的超参数，以调整 SARSA 超参数，研究者将该方法应用于控制移动机器人。Cardenoso Fernandez 和 Caarls 使用 GA 在简单设置中调整 RL 算法的超参数，并通过结合自动重启策略以摆脱局部最小值，取得了良好的性能。Ashraf 等人使用 Whale 优化算法（WOA），其灵感来自座头鲸的狩猎策略，在各种 RL 任务中优化 DDPG 超参数以提高性能。

用于在线调优的元梯度

元梯度提供了一种替代方法来处理 RL 超参数的非平稳性。元梯度公式的灵感来自元学习方法，例如 MAML，它使用梯度优化了内部和外部循环。特别是，元梯度方法将其（可微分）超参数的子集指定为元参数 η。在内部循环中，智能体使用固定的 η 进行优化，采用梯度 step 来最小化（通常是固定的）损失函数。在外部循环中，通过采取梯度 step 来优化 η，以最小化外部损失函数。内部和外部损失函数的每个特定选择都定义了一个新的元梯度算法。

黑盒在线调优

PBT 和元梯度的优势在于动态调整超参数的能力，然而，这并不是唯一的方法。事实上，研究者已经考虑了各种其他方法，从黑盒方法到在线学习启发方法。本节重点介绍在超参数不是可微的设置中动态适应的单智能体方法。

自适应选择超参数的方法自 20 世纪 90 年代以来一直很重要。Sutton 和 Singh (1994) 提出了 TD 算法中自适应加权方案的三种替代方法，Kearns 和 Singh (2000) 推导出时序差分算法误差上限，并使用这些边界推导出 λ 的时间表。Downey 和 Sanner (2010) 使用贝叶斯模型平均来为 TD 方法选择 λ bootstrapping 超参数。最近， White (2016) 提出了 λ-greedy 来适应 λ 作为状态的函数，并实现近似最优的偏差 - 方差权衡，Paul 等人 (2019) 提出了 HOOF，它使用带有非策略数据的随机搜索来周期性地为策略梯度算法选择新的超参数。

环境设计

环境设计是强化学习智能体自动学习的重要组成部分。从课程学习到合成环境学习和生成，到将课程学习与环境生成相结合，这里的目标是加快机器学习智能体通过环境设计的学习速度。如图 7 所示：

混合方法

不可避免的是，一些方法不属于单一类别。事实上，许多方法都试图利用不同方法的优势，可称之为混合方法。在该研究中，这些混合方法被定义为使用表 3 中不止一类技术的方法，例如 BOHB、DEHB 等。

理论综述强化学习AutoRL

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

网格搜索技术

网格搜索是一项模型超参数优化技术，常用于优化三个或者更少数量的超参数，本质是一种穷举法。对于每个超参数，使用者选择一个较小的有限集去探索。然后，这些超参数笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型，挑选验证集误差最小的超参数作为最好的超参数。

来源：Deep Learning Book

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

超参数优化技术

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

贝叶斯模型技术

贝叶斯模型基于贝叶斯定理，即：P(A|B)=P(B|A)*P(A)/P(B)。经典的贝叶斯模型包括朴素贝叶斯、贝叶斯网络和动态贝叶斯网络（DBN）；它们主要用于基于给定条件查找事件的概率。

来源：机器之心

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

随机搜索技术

遗传算法技术

遗传算法是计算数学中用于解决最优化的搜索算法，是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包括遗传、突变、自然选择以及杂交等。遗传算法通常实现方式为一种计算机模拟。对于一个最优化问题，一定数量的候选解可抽象表示为染色体，使种群向更好的解进化。

来源：维基百科

在线学习技术

在计算机科学中，在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反，在线学习的数据按顺序可用，并在每个步骤使用未来数据更新最佳预测器。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

移动机器人技术

移动机器人是一种能够移动的自动机器。移动机器人具有在其环境中移动的能力，并且不固定到一个物理位置。移动机器人可以“自动”主要是指它们能够在没有物理或机电引导装置的情况下导航非受控环境。相比之下，传统的工业机器人或多或少都是固定的（stationary）机械臂或抓取组件。

来源：Wikipedia

围棋技术

围棋是一种策略性棋类，使用格状棋盘及黑白二色棋子进行对弈。起源于中国，中国古时有“弈”、“碁”、“手谈”等多种称谓，属琴棋书画四艺之一。西方称之为“Go”，是源自日语“碁”的发音。

来源：维基百科