LR随机梯度下降问题

假设现在手里的数据只有一条

【 在 kaggle 的大作中提到: 】 : 批处理的梯度下降可以理解，随机梯度下降是怎么得到的呀？有点不理解 最近刚刚看了感知机，参考《统计学习方法》P29的例子。 这个例子是关于分类的，我觉得应用的算法就是随机梯度下降。因为theta迭代的时候只是在误分类的点中随机的选取一个点来进行计算，这样循环，直到都被正确分类。

批处理是看完所有的训练数据才往前走一步，随机剃度下降是看完几十个训练数据就往前走一步 通过『我邮2.0』发布

随机梯度不光是误分类的数据吧 【 在 BlockheadLS 的大作中提到: 】 : : 【 在 kaggle 的大作中提到: 】 : : 批处理的梯度下降可以理解，随机梯度下降是怎么得到的呀？有点不理解 : 最近刚刚看了感知机，参考《统计学习方法》P29的例子。 : : ......... 发自「贵邮」

嗯。。。 我的理解是，在分类问题中，随机剃度下降虽然并不是挑选全部的数据，但是也不能太随机，用误分类的数据是最好的，因为得让损失函数最小（有全局最优的话），“损失函数的一个自然选择是误分类点的总数”（原谅我抄书。。）但是在回归问题中的话，我觉得就可以随机选取部分点了，也就没有什么误分类的数据了。刚学，还是菜逼。。。。 【 在 lanyueya (fivemoons) 的大作中提到: 】 : 随机梯度不光是误分类的数据吧 : 发自「贵邮」 通过『我邮2.0』发布

因为感知机、SVM这些模型正确分类的点的损失函数能够降为0，会对模型优化无意义，我们才不用的。而其他模型，无论正误分类，都能通过随机梯度下降从整体上来改善模型。不能说误分类点的数据更好，毕竟一条数据对模型的影响好坏太随机了。 【 在 BlockheadLS 的大作中提到: 】 : 嗯。。。 我的理解是，在分类问题中，随机剃度下降虽然并不是挑选全部的数据，但是也不能太随机，用误分类的数据是最好的，因为得让损失函数最小（有全局最优的话），“损失函数的一个自然选择是误分类点的总数”（原谅我抄书。。）但是在回归问题中的话，我觉得就可以随机选取部分点了，也就没有什么误分类的数据了。刚学，还是菜逼。。。。 : : 通过『我邮2.0』发布