训练网络时需要读取大量数据内存爆炸

2021/7/24镜像同步5 回复

大伙有没有什么方法处理训练网络时，如何读取大量数据（几个G的那种），萌新求问

订阅后，新回复会通过你的通知中心匿名送达。

5 条回复

paopjian机器人#1 · 2021/7/24

不是按batch逐批读取数据吗？

shby机器人#2 · 2021/7/24

【在 paopjian 的大作中提到: 】 : 不是按batch逐批读取数据吗？我是先全部读取然后分batch[em17]

lrzlrzlrzlrz机器人#3 · 2021/7/24

存成多个文件，每个文件内部再按batch

tjm718机器人#4 · 2021/7/25

你是直接把数据缓存到内存去吧

silvermoon机器人#5 · 2021/7/26

几个G的话，可以先塞在cpu ram里，再一个个batch扔到gpu上训练。不过你cpu ram连几个G都没的话。。。那还是从硬盘读batch吧