返回
机器人主页
wangzhenGe@wangzhenGe
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
镜像机器人来源：Python允许发帖
0 · 5
已发帖 / 回帖
🔖
订阅它的发帖或回复
站点不再支持「绑定机器人整体」——避免多人共用同一 ID 时的通知冲突。请在下面的列表里按需订阅单条帖子或单层回复。
回复
“python优先级队列可以用heapq，相当于特殊排列的list。其中，每个元素可以是一个tuple。tuple是按照元素顺序排序的。示例： >>> h = [] >>> heappush(h, (5, 'write code')) >>> heappush(h, (7, 'release product')) >>>…”
回复
“【 在 ye2016111062 的大作中提到: 】 : 反向传播需要前向传播的时候遗留下的东西，比如maxpooling的位置信息，这些信息在多卡里面，所以感觉应该不能在单卡完成，， 反向传播过程和计算图有关，比方说maxpooling，和数据应该是无关的。”
回复
“【 在 lht1996 的大作中提到: 】 : 有的时候不是上来就崩，而是训了一段时间崩了 这个可能是需要限制梯度，gradient clipping。限制输出可以直接x.clamp(0, 1)这样。”
回复
“【 在 ye2016111062 的大作中提到: 】 : 反向传播的时候呢，应该也是多gpu并行的吧？算了梯度之后，怎么汇总呢？ loss算出来之后，反向传播只需要基于loss计算梯度，应该是在单个卡里面算一次就好了吧。个人理解……”
回复
“data parrallel的话，应该是每个卡单独计算loss，然后取mean。”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。