返回信息流毕业前写了一个简单的基于计算图的深度学习框架,用来学习。写了一个博客记录下来,我每天会写一点,地址在这里。
https://www.jianshu.com/p/4c2032c685dc
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #27580同步于 2017/12/30
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
从零开始写深度学习框架
weiyuan
2017/12/30镜像同步7 回复
订阅后,新回复会通过你的通知中心匿名送达。
7 条回复
嗯嗯,我写博客的时候就是打算把实现思路以及实现过程需要的知识介绍一下:知识点比较少,我怕写太长会抓不住重点,读者会懒得看。尤其那个矩阵求导,网上的例子大多罗列了很多求导法则,越看越迷糊。实际上就是逐元素求导。
这篇文章是按我的理解去实现的简单自动求导框架,和其他市面上的实现不一定一样。我开始写静态计算图的自动求导是用的拓扑排序。后来引入控制流了之后,计算图变成动态了,并且出现了环。我不想抛弃拓扑排序的思路,所以引入了虚拟图并且用强连通分量的缩点的思路去对图中的环进行拆分,保证每个子图只有一个环;子图看做一个广义节点,广义节点之间没有环。从而可以进行拓扑排序。
【 在 miner2344 的大作中提到: 】
: 很棒,希望能更加详细便于我这样的小白学习