【问题】有偿求助，python的损失是nan应该怎么解决

梯度爆炸？

【 在 paopjian 的大作中提到: 】 : 梯度爆炸？ 代码小白，不是很清楚原因，如果是梯度爆炸应该怎么整呢？

仅是个人想法 不清楚你做的具体内容无法给出精准判断，如果NaN突然出现，说明运行过程中出现了除0、log0、指数运算等可能出现无穷大的运算；如果Loss值不断增大直到NaN，可能是批归一化（或预处理）没有做。一般来说Loss值NaN时先考虑降低Learning_rate(lr)值，如果不能解决问题的话可能要仔细查代码了

【 在 bupt0313 的大作中提到: 】 : 仅是个人想法 : 不清楚你做的具体内容无法给出精准判断，如果NaN突然出现，说明运行过程中出现了除0、log0、指数运算等可能出现无穷大的运算；如果Loss值不断增大直到NaN，可能是批归一化（或预处理）没有做。一般来说Loss值NaN时先考虑降低Learning_rate(lr)值，如果不能解决问题的话可能要仔细查代码了 感谢，我先按照你说的排查一下

【 在 bupt0313 的大作中提到: 】 : 仅是个人想法 : 不清楚你做的具体内容无法给出精准判断，如果NaN突然出现，说明运行过程中出现了除0、log0、指数运算等可能出现无穷大的运算；如果Loss值不断增大直到NaN，可能是批归一化（或预处理）没有做。一般来说Loss值NaN时先考虑降低Learning_rate(lr)值，如果不能解决问题的话可能要仔细查代码了 非常感谢，问题已找到，是运行过程中出现了除0的运算

同遇到过类似的情况，把有些网络进行轻量化处理后，测试集的某些epoch忽然爆炸了