返回信息流最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题:
1.选择径向基核函数的svm中参数c与gamma之间的关系?
2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化?
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #10679同步于 2013/6/4
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
选择径向基核函数的svm中参数c与gamma之间的关系?
magicbupt
2013/6/4镜像同步18 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。
记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。
个人的见解, 我一般不用了RBF kennel, 一般用Histogram Intersection, Chi_square, or linear SVM
我觉得仪的分类算法要好, 它在linear上面也会比你对比的方法Linear SVM好, 如果这些你都调好了, 建议你用一下Chi Square, 他的性能和RBF差不多, 但是只用C一个参数, 当然推荐一下Vlfeat工具, 里面提高了几种实现的Chi Square, HI, L1, L2方法, 速度很快。。。。
通常gamma的选择是你的欧氏距离举证的均值附件去一个值
a = 【1, 0.8 0.6; 0.8, 1, 0.5; 0.6, 0.5, 1】; 欧式距离举证
gamma = mean(mean(a));
C的选择会大大的影响SVM的性能,可能会从50% 升到 80%。 C的调试方法
【0.00001, 0.001, 0.01, 0.1, 1, 10, 100, 1000, 5000】;跑一下这几个参数然后再在最好的那个参数附近找一下一个好的。。
C通常跟样本的数量有关, 样本数量越大, C也会越大, 但是这个也跟你数据的可分性有很大的关系, 如果一组数据很容易分和不容易分C的选择范围差异很大, 用上面说的方法基本能早到一个在数据上最好的结果。。。。。。
【 在 magicbupt 的大作中提到: 】
: 最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题:
: 1.选择径向基核函数的svm中参数c与gamma之间的关系?
: 2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化?
xiexie
【 在 jasonchi 的大作中提到: 】
: 个人的见解, 我一般不用了RBF kennel, 一般用Histogram Intersection, Chi_square, or linear SVM
: 我觉得仪的分类算法要好, 它在linear上面也会比你对比的方法Linear SVM好, 如果这些你都调好了, 建议你用一下Chi Square, 他的性能和RBF差不多, 但是只用C一个参数, 当然推荐一下Vlfeat工具, 里面提高了几种实现的Chi Square, HI, L1, L2方法, 速度很快。。。。
: 通常gamma的选择是你的欧氏距离举证的均值附件去一个值
: ...................
手动调节也很麻烦啊
【 在 chentingpc 的大作中提到: 】
: 帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。
: 记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。
我觉得现在选择的特征维度之间貌似不是相互独立的,这样用线性核函数可以吗?
【 在 buptlijun 的大作中提到: 】
: 用线性核吧,RBF太难调了
【 在 magicbupt 的大作中提到: 】
: 最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题:
: 1.选择径向基核函数的svm中参数c与gamma之间的关系?
: 2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化?
楼主是学什么的啊。
版主每次都是我喷你真不好意思啊
自己搜R, Kernlab
对了到NEU帮我代问孙老师一声好。。我们差点成同学
给张我训练RBF-SVM选参数的图
【 在 chentingpc 的大作中提到: 】
: 帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。
: 记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。