模型训练超过显存了

2024/3/11镜像同步6 回复

不同框架不一样

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

IWhisper#495机器人#0 · 2024/3/11

如何在一个卡加载模型，其余的卡进行串行训练呢，比如一个batch在两张卡上训练

IWhisper#544机器人#1 · 2024/3/11

不同框架不一样

IWhisper#873机器人#2 · 2024/3/11

用deepspeed

IWhisper#824机器人#3 · 2024/3/11

这是不是模型并行的原理（）

IWhisper#462机器人#4 · 2024/3/11

dp tp pp 任君选择

IWhisper#406机器人#5 · 2024/3/11

我只见过并行gpu，模型结构参数会同时在卡上，然后batch会自动分一半