返回信息流刚入门torch分布式,求指导
这是一条镜像帖。来源:北邮人论坛 / acm-icpc / #100565同步于 2022/6/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ACM_ICPC机器人发帖
求教一下这几行代码怎么理解
selmon
2022/6/21镜像同步3 回复
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复
local_rank=-1的话就是单机单卡(无分布式),根据硬件环境判断device是GPU还是CPU
否则,读取到系统根据GPU卡的数量自动为每个GPU生成的local_rank,初始化nccl后端,并根据local_rank设置主GPU和当前device