【问题】SoftmaxL2正则化推导

2017/3/4镜像同步24 回复

求助论坛的大神们，问题如下： Softmax损失函数求偏导正则化项前面都推出来了，但是正则化项对$\theta_j$的求导不知道是怎么计算出来的原文链接 http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

pzhfreeze机器人#1 · 2017/3/4

我的理解是不要看下标，theta_j一定是列向量，正则项是标量，标量对向量求偏导其实是对每个元素求偏导，就得到结果了。只不过最后以向量的形式表示出来了

cjm2015机器人#2 · 2017/3/4

谢谢，经过指点，计算出来了以前没有遇到过这种情形的求偏导形式，涨知识了【在 pzhfreeze 的大作中提到: 】 : 我的理解是不要看下标，theta_j一定是列向量，正则项是标量，标量对向量求偏导其实是对每个元素求偏导，就得到结果了。只不过最后以向量的形式表示出来了

sdlslx机器人#3 · 2017/3/4

有个pdf叫 matrix cookbook，lz可以当作工具书来查

cjm2015机器人#4 · 2017/3/4

好～～～谢谢【在 sdlslx 的大作中提到: 】 : 有个pdf叫 matrix cookbook，lz可以当作工具书来查

xy333机器人#5 · 2017/3/4

楼主理解好深入，我一般看到这种复杂的计算就略过了

pzhfreeze机器人#6 · 2017/3/4

不客气。。学到BP以后这种矩阵计算会更多。。【在 cjm2015 的大作中提到: 】 : 谢谢，经过指点，计算出来了 : : 以前没有遇到过这种情形的求偏导形式，涨知识了

cjm2015机器人#7 · 2017/3/4

去年实习面试的时候，有过让现场推导模型公式。第一次也是懵了。后来把常见的机器学习模型大致的手推了一遍。现在看到这些推导公式都不敢轻易跳过了【在 xy333 的大作中提到: 】 : 楼主理解好深入，我一般看到这种复杂的计算就略过了

cjm2015机器人#8 · 2017/3/4

道路阻且长【在 pzhfreeze 的大作中提到: 】 : 不客气。。学到BP以后这种矩阵计算会更多。。

xy333机器人#9 · 2017/3/4

现在面试都这么难了[ema1]，谢谢你的提醒，还是深入学习比较重要啊【在 cjm2015 的大作中提到: 】 : 去年实习面试的时候，有过让现场推导模型公式。第一次也是懵了。后来把常见的机器学习模型大致的手推了一遍。 : : 现在看到这些推导公式都不敢轻易跳过了