网格搜索

网格搜索是一项模型超参数优化技术,常用于优化三个或者更少数量的超参数,本质是一种穷举法。对于每个超参数,使用者选择一个较小的有限集去探索。然后,这些超参数笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型,挑选验证集误差最小的超参数作为最好的超参数。

简介

网格搜索是一项模型超参数(即需要预先优化设置而非通过训练得到的参数)优化技术,常用于优化三个或者更少数量的超参数,本质是一种穷举法。对于每个超参数,使用者选择一个较小的有限集去探索。然后,这些超参数笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型,挑选验证集误差最小的超参数作为最好的超参数。

[描述来源:MIT press 《Deep Learning》;URL:http://www.deeplearningbook.org/contents/guidelines.html]

例如,我们有三个需要优化的超参数A,B,C,候选的取值分别是{1,2},{3,4},{5,6}。则所有可能的参数取值组合组成了一个8个点的3维空间网格如下:

{(1,3,5),(1,3,6),(1,4,5),(1,4,6),(2,3,5),(2,3,6),(2,4,5),(2,4,6)}

网格搜索就是通过遍历这8个可能的参数取值组合,进行训练和验证,最终得到最优解。

发展历史

2003年,网格搜索算法被应用于支持向量机(Support Vector Machine,SVM)的参数优化问题。但是最基本的网格搜索算法会在许多根本没必要测试的参数组合上浪费很多计算成本。为了减少计算成本,Chihjen Lin等人提出了使用两步网格搜索算法来进行参数优化,即将网格搜索分为粗搜索和精搜索两个步骤来进行。2006年,Yukun Bao等人提出在模型训练中寻找最大误差下降路径,以此优化网格搜索路径,在时间序列预测中取得了不错的效果。Yu-Yen Ou等人则通过一定机制缩减训练集规模达到加快网格搜索效率的目的。2007年,Chien-Ming Huang等人提出了均匀设计的改进思想,利用对参数搜索空间均匀抽样缩小规模。2012年,Bengio, Yoshua等人提出当超参数规模较大时,随机搜索将会是更高效的超参数优化方法。

主要事件

年份事件相关论文/Reference
2003网格搜索算法被应用于支持向量机的参数优化问题
2006Yukun Bao等人提出在模型训练中寻找最大误差下降路径,以此优化网格搜索路径Bao, Y., & Liu, Z. (2006). A fast grid search method in support vector regression forecasting time series. , 4224, 504-511.
2006Yu-Yen Ou等人则通过一定机制缩减训练集规模达到加快网格搜索效率的目的Ou, Y. Y., Chen, G. H., & Oyang, Y. J. (2006). Expediting model selection for support vector machines based on an advanced data reduction algorithm. Pacific Rim International Conference on Artificial Intelligence (Vol.4099, pp.1017-1021). Springer-Verlag.
2007Chien-Ming Huang等人提出了均匀设计的改进思想,利用对参数搜索空间均匀抽样缩小规模Huang, C. M., Lee, Y. J., Lin, D. K. J., & Huang, S. Y. (2007). Model selection for support vector machines via uniform design. Computational Statistics & Data Analysis, 52(1), 335-346.
2008Chihjen Lin等人提出两步网格搜索算法来进行参数优化,即将网格搜索分为粗搜索和精搜索两个步骤来进行Hsu, C., Chang, C., & Lin, C. (2008). A Practical Guide to Support Vector Classication.Journal of Intelligent and Fuzzy Systems,.
2012Bengio, Yoshua等人提出当超参数规模较大时,随机搜索将会是更高效的超参数优化方法Bergstra, J., & Bengio, Y. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13(1), 281-305.

发展分析

瓶颈

网格搜索采用的是穷举法的思路,其计算复杂度将随需要优化的超参数规模呈指数增长。因此该方法只适用于规模很小的超参数优化问题。

未来发展方向

当超参数规模较大时,随机搜索将会是更高效的超参数优化方法。

同时由于单纯的网格搜索对于超参数的优化思路是比较粗放的,因此对网格搜索的策略和范围做更加精细的限定和处理,可能会对于提高网格搜索的效率有作用。

Contributor: Han Hao

相关人物
林智仁
林智仁
台湾大学教授,研究兴趣主要为机器学习:支持向量机( SVM )、大规模数据分类和机器学习软件设计,运筹学:大规模非线性优化等
詹姆斯·伯格斯特拉
詹姆斯·伯格斯特拉
蒙特利尔大学博士,师从Yoshua Bengio,曾在哈佛大学和滑铁卢大学进行博士后研究。现任Kindred.ai联合创始人,负责AI研究。
迈克尔·乔丹
迈克尔·乔丹
著名计算机科学家和统计学学者,主要研究机器学习和人工智能。目前担任加州大学伯克利分校电气工程与计算机科学系和统计学系教授。他的重要贡献包括指出了机器学习与统计学之间的联系,并推动机器学习界广泛认识到贝叶斯网络的重要性。他还以近似推断变分方法的形式化、最大期望算法在机器学习的普及方面的工作而知名。
约书亚·本吉奥
约书亚·本吉奥
约书亚·本希奥(法语:Yoshua Bengio,1964年-)是一位加拿大计算机科学家,因人工神经网络和深度学习领域的研究而闻名。Yoshua Bengio于1991年获得加拿大麦吉尔大学计算机科学博士学位。经过两个博士后博士后,他成为蒙特利尔大学计算机科学与运算研究系教授。他是2本书和超过200篇出版物的作者,在深度学习,复现神经网络,概率学习算法,自然语言处理和多元学习领域的研究被广泛引用。他是加拿大最受欢迎的计算机科学家之一,也是或曾经是机器学习和神经网络中顶尖期刊的副主编。
简介
相关人物