返回信息流之前貌似有文章说adam要比sgd收敛快，但是微调参的参数够好的话sgd准确率比adam要高
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #29510同步于 2018/5/15
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
Re: 【问题】有人知道resnet为什么不用Adam而用SGD吗
Sanqi
2018/5/15镜像同步8 回复
订阅后，新回复会通过你的通知中心匿名送达。
8 条回复
在我尝试的过程中，反而sgd比adam收敛快。仅限于resnet
【 在 Sanqi 的大作中提到: 】
: 之前貌似有文章说adam要比sgd收敛快，但是微调参的参数够好的话sgd准确率比adam要高
普遍实验发现adam得到的准确率不如sgd高，这些论文最后的实验内容都是比精度嘛，所以都选择了*带动量的sgd*
话说17年有很多论文对adam做了改进，别人用了好像效果还不错。我没试过不清楚
Ok。我去搜搜论文。感谢您的回答。
【 在 viredery 的大作中提到: 】
: 普遍实验发现adam得到的准确率不如sgd高，这些论文最后的实验内容都是比精度嘛，所以都选择了*带动量的sgd*
: 话说17年有很多论文对adam做了改进，别人用了好像效果还不错。我没试过不清楚
专业摄影师都是用最原始的原理的相机自己调焦距光圈等，小白一般用现代的手机电子对焦也能拍的挺好看
专业后期都是ps乱七八糟软件调半天，小白一般用个美图秀秀效果奇好
发自「贵邮」
补充一点玄学经验，
Optimizer跟学习平台有关，Caffe默认用SGD，Keras默认用Adam。我测过几次，这种默认方法性能最好。
PS：非玄学的是，Keras里SGD的step参数不同于Caffe里SGD的step，看下代码就明白了，大家设置时一定要注意。
哈哈，pytorch没有这种烦恼，optimizer一直需要自己指定[ema21]
【 在 xxwlax 的大作中提到: 】
: 补充一点玄学经验，
:
: Optimizer跟学习平台有关，Caffe默认用SGD，Keras默认用Adam。我测过几次，是这种情况。