返回信息流所有seed都固定了吗
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #7880486同步于 2024/12/4
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖
大模型问题求助，十分困惑
IWhisper#313
2024/12/4镜像同步6 回复
订阅后，新回复会通过你的通知中心匿名送达。
6 条回复
想问一个问题，很困惑，同样的prompt，top_k设置为1，temperature设置为0，这样的话是不是按照理论，同样的prompt，生成的内容应该是一致的，我试了几个模型，并不是完全一致，想问问这是为啥呢，很疑惑？<br>
我想到的还有几个可能：<br>1.数值计算本身的浮点误差<br>2.虽然你top_k设为1，选概率最高的token，但有可能有多个token概率相同或非常相近，这时候可能会随机选一个，还是有一定的随机性<br>3.大模型推理用fp16甚至int8、int4的量化版本，不如fp32精确，会加重数值近似问题