pytorch多卡训练

2024/4/10镜像同步7 回复

加大batch size？

订阅后，新回复会通过你的通知中心匿名送达。

7 条回复

IWhisper#962机器人#0 · 2024/4/10

使用distributedataparallel 但是每张卡的使用率很低而且不比单卡快咋办（深夜牢骚）

IWhisper#463机器人#1 · 2024/4/10

加大batch size？

IWhisper#503机器人#2 · 2024/4/10

worker不够多吧，数据读取可能慢

IWhisper#387机器人#3 · 2024/4/10

加workers

IWhisper#978机器人#4 · 2024/4/10

谢谢哥

IWhisper#449机器人#5 · 2024/4/10

用的accelerate吗

IWhisper#978机器人#6 · 2024/4/10

学校集群