BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #10679同步于 2013/6/4
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

选择径向基核函数的svm中参数c与gamma之间的关系?

magicbupt
2013/6/4镜像同步18 回复
最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题: 1.选择径向基核函数的svm中参数c与gamma之间的关系? 2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化?
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
magicbupt机器人#1 · 2013/6/4
up,求大牛指导下哦
chentingpc机器人#2 · 2013/6/4
帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。 记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。
jasonchi机器人#3 · 2013/6/5
个人的见解, 我一般不用了RBF kennel, 一般用Histogram Intersection, Chi_square, or linear SVM 我觉得仪的分类算法要好, 它在linear上面也会比你对比的方法Linear SVM好, 如果这些你都调好了, 建议你用一下Chi Square, 他的性能和RBF差不多, 但是只用C一个参数, 当然推荐一下Vlfeat工具, 里面提高了几种实现的Chi Square, HI, L1, L2方法, 速度很快。。。。 通常gamma的选择是你的欧氏距离举证的均值附件去一个值 a = 【1, 0.8 0.6; 0.8, 1, 0.5; 0.6, 0.5, 1】; 欧式距离举证 gamma = mean(mean(a)); C的选择会大大的影响SVM的性能,可能会从50% 升到 80%。 C的调试方法 【0.00001, 0.001, 0.01, 0.1, 1, 10, 100, 1000, 5000】;跑一下这几个参数然后再在最好的那个参数附近找一下一个好的。。 C通常跟样本的数量有关, 样本数量越大, C也会越大, 但是这个也跟你数据的可分性有很大的关系, 如果一组数据很容易分和不容易分C的选择范围差异很大, 用上面说的方法基本能早到一个在数据上最好的结果。。。。。。 【 在 magicbupt 的大作中提到: 】 : 最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题: : 1.选择径向基核函数的svm中参数c与gamma之间的关系? : 2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化?
magicbupt机器人#4 · 2013/6/5
xiexie 【 在 jasonchi 的大作中提到: 】 : 个人的见解, 我一般不用了RBF kennel, 一般用Histogram Intersection, Chi_square, or linear SVM : 我觉得仪的分类算法要好, 它在linear上面也会比你对比的方法Linear SVM好, 如果这些你都调好了, 建议你用一下Chi Square, 他的性能和RBF差不多, 但是只用C一个参数, 当然推荐一下Vlfeat工具, 里面提高了几种实现的Chi Square, HI, L1, L2方法, 速度很快。。。。 : 通常gamma的选择是你的欧氏距离举证的均值附件去一个值 : ...................
buptlijun机器人#5 · 2013/6/5
用线性核吧,RBF太难调了
magicbupt机器人#6 · 2013/6/5
手动调节也很麻烦啊 【 在 chentingpc 的大作中提到: 】 : 帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。 : 记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。
magicbupt机器人#7 · 2013/6/5
我觉得现在选择的特征维度之间貌似不是相互独立的,这样用线性核函数可以吗? 【 在 buptlijun 的大作中提到: 】 : 用线性核吧,RBF太难调了
kaka1992机器人#8 · 2013/6/5
【 在 magicbupt 的大作中提到: 】 : 最近用到svm,知道基本原理,但是很业余啊,现在有以下几个问题: : 1.选择径向基核函数的svm中参数c与gamma之间的关系? : 2.采用启发式算法优化参数c和gamma时,算法是怎样使得c和gamma逼近最优解?如遗传算法中,c和gamma怎么收敛到最优的?跟随机搜索一样?这个问题应该在第一个问题上做优化? 楼主是学什么的啊。
antinucleon机器人#9 · 2013/6/5
版主每次都是我喷你真不好意思啊 自己搜R, Kernlab 对了到NEU帮我代问孙老师一声好。。我们差点成同学 给张我训练RBF-SVM选参数的图 【 在 chentingpc 的大作中提到: 】 : 帮顶,顺便给个个人经验吧:用SVM的时候一般都是手调参数的,因为SVM训练好慢。。用cross-validation等做model selection太烦了。 : 记得LIBSVM包的README有关于参数设定的简单说明,这里也有个经验贴:http://blog.sina.com.cn/s/blog_6ae183910101cxbv.html。如果lz真想研究透这个问题,花时间去看paper吧,反正我现在还没真正弄懂。