返回信息流大语言模型，llm<br>【 在 IWhisper#272 的大作中提到: 】<br><font class="f006">: 求问，一般是用一些库吗，比如deepspeed，accelerate之类的？请问有推荐的库吗。谢谢大家 </font>
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #7978192同步于 2025/1/6
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖
萌新求问，想用两张16g显存的卡运行一个至少需要20g显存的大模
IWhisper#272
2025/1/6镜像同步13 回复
订阅后，新回复会通过你的通知中心匿名送达。
13 条回复
大语言模型，llm<br>【 在 IWhisper#272 的大作中提到: 】<br><font class="f006">: 求问，一般是用一些库吗，比如deepspeed，accelerate之类的？请问有推荐的库吗。谢谢大家 </font>
组里没3090<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none">不想租服务器<br>【 在 IWhisper#736 的大作中提到: 】<br><font class="f006">: 换3090 </font>
在一台机器，我之前没用过双卡运行llm，想来论坛问问<img src="/img/ubb/ema/23.gif" alt="ema23" style="display:inline;border-style:none"><br>【 在 IWhisper#446 的大作中提到: 】<br><font class="f006">: 是说两张卡不在同一个机器上吗？可以了解一下分布式部署 </font>
不知道哇 gpt这么和我说的<br>【 在 IWhisper#745 的大作中提到: 】<br><font class="f006">: deepspeed不是训练用的吗 </font>
比如megatron，里面有不同模型的配置，自己也可以改配置，一方面是改模型，一方面是改各种训练并行的方式，但是我很怀疑两张卡能否跑的起来，训练显存占用分三部分：模型，中间激活，optimizer_states