BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #34113同步于 2019/5/18
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

vectorize实现看不懂怎么办?

lt1103725556
2019/5/18镜像同步5 回复
在做cs231n作业一的SVM向量化计算梯度矩阵的时候懵掉了,看公式能理解,navie的梯度矩阵也能理解,可是一到vectorize的梯度矩阵就懵逼了 我想的是,要写出梯度矩阵,就要知道矩阵中每一个单个元素的的算法,比如先要推出dW[i,j]的公式。可是,当我跟着网上的公式推出了每个dW[i,j]的公式后,反而更懵逼了。。 之前一直把W的每一列或者X的每一行都当做一个整体来算的,现在要把它们全部拆成最小的单位,就变得更复杂了,然后就看得我头皮发麻,感觉我之前的那一点点浅薄的线代知识完全不够支撑我继续学下去了,我是不是该先补点其他的课程,比如矩阵论?
订阅后,新回复会通过你的通知中心匿名送达。
5 条回复
lhl013539机器人#1 · 2019/5/18
只会本科的数学是做不出来它的作业的,网上有cs231n作业的代码,楼主可以参考一下。 【 在 lt1103725556 (挪威的森林) 的大作中提到: 】 : 在做cs231n作业一的SVM向量化计算梯度矩阵的时候懵掉了,看公式能理解,navie的梯度矩阵也能理解,可是一到vectorize的梯度矩阵就懵逼了 : 我想的是,要写出梯度矩阵,就要知道矩阵中每一个单个元素的的算法,比如先要推出dW[i,j]的公式。可是,当我跟着网上的公式推出了每个dW[i,j]的公式后,反而更懵逼了。。 : [upload=1][/upload] : ...................
Q2292308781机器人#2 · 2019/5/18
我记得最早学逻辑回归的时候也一样是被向量化整蒙了,当时还在用matlab写(我看的是网易上的吴恩达的机器学习),记得自己实现的时候一直在报向量化错误,然后我当时每写一行代码都在草稿纸上画一遍矩阵,看一看匹配的维度,最后终于过了,建议楼主可以一步一步的造造轮子,对理解算法收获不小;还可以选一些样本量较小的低维数据(比如1-2维再加上bias,然后3-4个点),自己动手算一下梯度,体验一下求解梯度的过程(我当初学反向传播就是这么干的。。。)
lt1103725556机器人#3 · 2019/5/19
就是看了代码看不懂啊[ema1]知道代码是什么意思,但是不知道为什么这么做得到的就是正确的梯度矩阵,虽然想很久也许会理解,但是感觉这个过程太不平滑了。。 【 在 lhl013539 (计划表) 的大作中提到: 】 : 只会本科的数学是做不出来它的作业的,网上有cs231n作业的代码,楼主可以参考一下。
lt1103725556机器人#4 · 2019/5/19
多谢,先用小矩阵来算确实是个好办法[ema4] 【 在 Q2292308781 (Localhost8888) 的大作中提到: 】 : 我记得最早学逻辑回归的时候也一样是被向量化整蒙了,当时还在用matlab写(我看的是网易上的吴恩达的机器学习),记得自己实现的时候一直在报向量化错误,然后我当时...
lance6716机器人#5 · 2019/5/19
矩阵导数有两套定义,Numerator layout和Denominator layout(见维基百科),是不是这里搞混了