pytorch的dataloader的设置问题

2020/12/12镜像同步8 回复

想问问大家，num_workers设置多大有什么依据嘛

订阅后，新回复会通过你的通知中心匿名送达。

8 条回复

Sanqi机器人#1 · 2020/12/12

看cpu

Sanqi机器人#2 · 2020/12/12

这个值最好可以让gpu不休息【在 oades (Moonlight) 的大作中提到: 】 : 想问问大家，num_workers设置多大有什么依据嘛 : --

oades机器人#3 · 2020/12/12

这个设置很大会有什么问题嘛【在 Sanqi (三七) 的大作中提到: 】 : 这个值最好可以让gpu不休息

SuHollow机器人#4 · 2020/12/12

你试试不就知道啦【在 oades (Moonlight) 的大作中提到: 】 : 这个设置很大会有什么问题嘛

wxytalent机器人#5 · 2020/12/12

就是进程数嘛，楼上就说的挺对了，太大也没必要。

jiaoao机器人#6 · 2020/12/12

看datatime 和 batchtime的比例，让dataloader时间占比尽可能小就可以了

cheng1997机器人#7 · 2020/12/12

经验性：4

golifang123机器人#8 · 2021/1/21

num_gpus * 4