网格搜索

网格搜索是一项模型超参数（即需要预先优化设置而非通过训练得到的参数）优化技术，常用于优化三个或者更少数量的超参数，本质是一种穷举法。对于每个超参数，使用者选择一个较小的有限集去探索。然后，这些超参数笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型，挑选验证集误差最小的超参数作为最好的超参数。

[描述来源：MIT press 《Deep Learning》；URL：http://www.deeplearningbook.org/contents/guidelines.html]

例如，我们有三个需要优化的超参数A,B,C，候选的取值分别是{1,2}，{3,4}，{5,6}。则所有可能的参数取值组合组成了一个8个点的3维空间网格如下：

{（1,3,5），（1,3,6），（1,4,5），（1,4,6），（2,3,5），（2,3,6），（2,4,5），（2,4,6）}

网格搜索就是通过遍历这8个可能的参数取值组合，进行训练和验证，最终得到最优解。

发展历史

2003年，网格搜索算法被应用于支持向量机（Support Vector Machine，SVM）的参数优化问题。但是最基本的网格搜索算法会在许多根本没必要测试的参数组合上浪费很多计算成本。为了减少计算成本，Chihjen Lin等人提出了使用两步网格搜索算法来进行参数优化，即将网格搜索分为粗搜索和精搜索两个步骤来进行。2006年，Yukun Bao等人提出在模型训练中寻找最大误差下降路径，以此优化网格搜索路径，在时间序列预测中取得了不错的效果。Yu-Yen Ou等人则通过一定机制缩减训练集规模达到加快网格搜索效率的目的。2007年，Chien-Ming Huang等人提出了均匀设计的改进思想，利用对参数搜索空间均匀抽样缩小规模。2012年，Bengio, Yoshua等人提出当超参数规模较大时，随机搜索将会是更高效的超参数优化方法。

主要事件

发展分析

瓶颈

网格搜索采用的是穷举法的思路，其计算复杂度将随需要优化的超参数规模呈指数增长。因此该方法只适用于规模很小的超参数优化问题。

未来发展方向

当超参数规模较大时，随机搜索将会是更高效的超参数优化方法。

同时由于单纯的网格搜索对于超参数的优化思路是比较粗放的，因此对网格搜索的策略和范围做更加精细的限定和处理，可能会对于提高网格搜索的效率有作用。

Contributor: Han Hao