返回信息流有个实验，batch_size设16跑不满gpu，32又装不下了，24应该能接近跑满，但是我看网上很多人说设2的n次幂会有加速？。。另外是8个gpu，是不是该设8的倍数好一点？
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #34123同步于 2019/5/21
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
batchsize设2的n次幂真的会更快吗？
lt1103725556
2019/5/21镜像同步37 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
我就一打杂的，学长给模型我就负责跑跑调调。8卡都跑不太动这个模型，估计要跑两三天才能跑完[ema1]
【 在 lcxt15 (aaaaaaa) 的大作中提到: 】
: 羡慕8卡大佬...
: 训练效果上没差，速度真不知道...同问
我觉得也是这样[ema4]第一次用服务器跑没啥经验
【 在 caicaixs 的大作中提到: 】
: 八卡同时跑batch肯定得8的倍数啊。。。
batch_size 设为2的倍数，与batch_size设多大是两个问题，设成2的倍数是为了与gpu数相匹配，batch_size大小与训练数据量大小有关。
不是北邮的实验室，之前听学长说这是集群式服务器，有很多节点，每次登上服务器之后还要ssh到有空闲的节点，然后才能用那个节点上的GPU，我就知道这么多了。。他们好像是有一个部门在维护这个，不归学生管，所以学长他们也了解的不多[ema41]
【 在 jokezhao (宁缺毋滥joke) 的大作中提到: 】
: 求楼主私信是哪个实验室，我们实验室也要装8卡，但我们不会搭