【问题】使用TensorFlow的layer_norm后，每次预测结果不同

2018/12/12镜像同步5 回复

在模型中加入 tf.contrib.layers.layer_norm 后，但是每次预测时的结果都有一定的差别，有人碰到这种情况吗？难道用layer_norm的时候需要有什么特殊的操作？求大佬指点~[ema11]

订阅后，新回复会通过你的通知中心匿名送达。

5 条回复

x867786368机器人#1 · 2018/12/12

之前在pytorch遇到过bn出这个问题，原因是没有设置为eval模式，不知道有没有参考价值

w86568376机器人#2 · 2018/12/12

楼上说的对，训练和验证是不一样

XingXudong机器人#3 · 2018/12/12

bn可以试试tf.layer.batchnormalization

aName机器人#4 · 2018/12/12

谢谢楼上几位老铁，已搞定！ tensorflow中用 BN 的时候需要设置 trian 模式，LN就不用了。

wxytalent机器人#5 · 2018/12/12

因为batchNorm和DropOut在训练与预测时行为不一样，需要写明