LJ10211289@LJ10211289
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
“hinge loss 里面的 1-yi(wi+b)>=0，这不是限制吗？当然可能也有别的解释为什么没用SGD，这里说的是我个人的想法哈 【 在 decayed 的大作中提到: 】 : 谢谢~ ，如果将损失函数定义为hinge loss的话，好像也没有约束啊，只有在用二次规划思想解的时候才有约束吧”
“梯度下降一类的优化方法是针对无约束的凸优化问题，SVM的目标函数里有条件约束。 【 在 decayed 的大作中提到: 】 : 话说，为啥svm不用sgd方式求解呢，而要用求解二次规划的方法求解呢，sgd应该要快很多呀，而且有很多改进版本，又还可以做增量的训练，libsvm这类用二次规划思想的应该做不了增量训练吧，那为…”
“[em68]”
“不能这样理解GBDT吧，每次迭代都会在原有的model加上一个学习出的submodel啊，这点和single model的梯度下降差别很大吧 【 在 lzc6996 的大作中提到: 】 : gbdt中用lostfuntion的梯度近似残差，实际上每次迭代就是在lostfuntion的梯度方向减少误差，感觉这个和单模型用…”
“同求是怎么理论推导bagging防止过拟合的? 【 在 lzc6996 的大作中提到: 】 : 不可以啊，bagging可以防止过拟合是可以推倒的...boosting呢”
“假设现在手里的数据只有一条”
“就个人理解而言，因为GBDT每次迭代都是拟合当前残差，所以GBDT既可以很好挖掘数据的整体规律（大规律），又能兼顾数据的局部规律（小规律），而single model一般达不到这样的效果。至于严格推导boosting方法比一般single model好，有可能从优化角度去推导，具体不清楚，没有接触过相关资料 【 在 l…”
“可以将楼主问题理解为“为什么ensemble model一般会比single model效果好？”吗？”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。