小白求问：线性不可分SVM可以用随机梯度下降求解么

顶，搜到北邮人来了

哪来的线性不可分SVM，SVM不都是找个hyperplane把data切了么。你以为的非线性切分plane其实不过是在低维空间的转换罢了。 用SGD那是因为data太多没办法，跟核函数什么关系。 能用second order的gradient谁愿意用first order的。

都可以用随机梯度下降，mllib估计只实现了线性核吧，你找找svm large scale learning 这种关键词的文章应该就有原理。例如这篇比较老的：http://www.jmlr.org/papers/v7/sonnenburg06a.html

可以的，但是不能保证结果最优，一般还是会用SMO算法。这时候，楼主你需要的是看看《统计学习方法》

首先，并没有线性不可分SVM一说。若将求解SVM的问题转化为一个目标函数为Hinge Loss的问题，那么便可以使用梯度下降的方法来求解。斯坦福的CS231n的第一次作业有一部分就是用梯度下降方法实现SVM的，露珠可以看看。 【 在 Hikaru 的大作中提到: 】 : 貌似大规模数据的线性SVM更喜欢随机梯度下降来求解（看到很多这么求解的，包括spark的MLlib），那么线性不可分SVM也可以用随机梯度下降么？ : 这个时候核函数怎么融入进去？怎么用？ : 不知道我这么表述清不清楚，相关的论文我也没怎么搜到。 : ...................

求问楼上大神们…软边界svm是什么 发自「贵邮」

多谢各位大神指点，没想到这贴子都快一年了才有人回复。后来找到相关的论文啦~\(≧▽≦)/~比如P-packSVM

SVM解得是線性可分的問題，但是現實中data會有很多noise，可能無法找到一個plane分開它們。所以，我們可以找一個允許些許錯誤的plane去把data切開。hard margin -> soft margin 【 在 zhaotong0312 的大作中提到: 】 : 求问楼上大神们…软边界svm是什么 : 发自「贵邮」

做一点让步，允许一些点落在 margin 里面 【 在 zhaotong0312 的大作中提到: 】 : 求问楼上大神们…软边界svm是什么 : 发自「贵邮」