万博体育app安卓说明你用网格搜索

当前位置:万博体育app安卓 > 万博体育app安卓 > 万博体育app安卓说明你用网格搜索
作者: 万博体育app安卓|来源: http://www.kjtdm.com|栏目:万博体育app安卓

文章关键词:万博体育app安卓,随机搜索

  (当超参数的数量增长时,网格搜索的计算复杂度会呈现指数增长,这时要换用随机搜索),用户列出一个较小的超参数值域,这些超参数值域的笛卡尔集(排列组合)为一组组超参数。网格搜索算法使用每组超参数训练模型并挑选验证集误差最小的超参数组合。

  以SVM为例,挑选SVM的超参数C值、kernel类型和gamma值。下面的配置表示我们要搜索两种网格:一种是linear kernel和不同C值;一种是RBF kernel以及不同的C和gamma值。Grid Search会挑选最适合的超参数值。

  同时,Grid Search适合重复的、迭代的进行。以上面的数据为例,如果在linear kernel的情况下,最合适的C值显示为1,那么说明我们高估了C值的范围,我们应该降低C值的搜索区域,开始第二次搜索:

  而随机搜索提供了一种更高效的解决方法(特别是参数数量多的情况下),Randomized Search为每个参数定义了一个分布函数并在该空间中采样(sampling)。上文对SVM的网格搜索在此处可以表示为:

  网格搜索其实可以理解成暴力搜索,一般当超参数的数目稍小的时候,才会用网格搜索;随机搜索一般会根据超参数的边缘分布采样。建议题主参看论文3/bergstra12a/bergstra12a.pdf

  泻药。在沙堆上淘金,闭上眼睛每次随便选个方向走,每次再随便选个步数,走到这步数就停下来淘一把,这是随机搜索。把沙堆按比例分成格子,淘了一格再去淘下一格,这是网格搜索。

  网格搜索建议去看Libsvm的文档,grid search部分,随机搜索建议看Yoshua Bengio的论文。论文上只讲了原理,但参数的搜索范围,还是要你自己定的。

  搜超参数就像老中医,别想一劳永逸,搜超参数的技术,万博体育app安卓修行在个人啊,哈哈。简单点的数据集如果参数猜几次都不中,万博体育app安卓那么就不合格。说明你用网格搜索,连搜索范围你都不知,那还调什么参。

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!