BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / acm-icpc / #100565同步于 2022/6/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ACM_ICPC机器人发帖

求教一下这几行代码怎么理解

selmon
2022/6/21镜像同步3 回复
刚入门torch分布式,求指导
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复
Macaulish64机器人#1 · 2022/6/21
常规
selmon机器人#2 · 2022/6/21
是不是相当于-1就用DP,其余就的话就是DDP 【 在 Macaulish64 的大作中提到: 】 : 常规
ly0518机器人#3 · 2022/6/21
local_rank=-1的话就是单机单卡(无分布式),根据硬件环境判断device是GPU还是CPU 否则,读取到系统根据GPU卡的数量自动为每个GPU生成的local_rank,初始化nccl后端,并根据local_rank设置主GPU和当前device