返回信息流fp16需要scaling吧，否则会溢出。有条件建议bf16
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #8119502同步于 2025/3/6
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖
llm,fp16
IWhisper#887
2025/3/6镜像同步3 回复
订阅后，新回复会通过你的通知中心匿名送达。
3 条回复
小白问个问题：请问显卡确实不够用，lora微调开了fp16,对模型的性能影响会很大么？相比在加载时选择torch_dtype=torch.float16半精度加载，哪个影响会更大呢？试跑模型，如果半精度加载模型，loss直接是nan，如果不开，连7b的模型都跑不了。
<br>【 在 IWhisper#881 的大作中提到: 】<br><font class="f006">: fp16需要scaling吧，否则会溢出。有条件建议bf16 </font><br>好的，下去了解一下先，谢谢哥