跑模型怎么减少内存占用

2018/1/14镜像同步13 回复

读取大数据的文件进行模型训练的时候16G的服务器有时都够呛，同样的数据听说有人通过改进程序可以实现在8个G的笔记本上跑模型，求问是如何实现的

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

annyy机器人#1 · 2018/1/14

dxy1机器人#2 · 2018/1/14

【在 mingjunbaaa 的大作中提到: 】 : 读取大数据的文件进行模型训练的时候16G的服务器有时都够呛，同样的数据听说有人通过改进程序可以实现在8个G的笔记本上跑模型，求问是如何实现的 16g的服务器？当然是加内存条了，哈哈，可以试试搞搞hadoop之类的

mingjunbaaa机器人#3 · 2018/1/14

请教过人家据说是存成其他数据格式，取样时隔行隔列取？反正当时没听懂【在 dxy1 (【意涵团】dxy) 的大作中提到: 】 : 16g的服务器？当然是加内存条了，哈哈，可以试试搞搞hadoop之类的

dxy1机器人#4 · 2018/1/14

【在 mingjunbaaa 的大作中提到: 】 : 请教过人家据说是存成其他数据格式，取样时隔行隔列取？反正当时没听懂你可以查查pipline

mingjunbaaa机器人#5 · 2018/1/14

谢谢，这就去查下【在 dxy1 (【意涵团】dxy) 的大作中提到: 】 : 你可以查查pipline

jackling机器人#6 · 2018/1/15

训练反正是一个 batch 进行的，你不要把所有文件读进来才开始训练模型，写一个省内存的 dataloader ?

day1224机器人#7 · 2018/1/15

1. batch_size 小一点 2. 有预训练的话，先把数据丢进预训练的特征层跑一遍把特征存起来以上仅是深度调参的经验

mingjunbaaa机器人#8 · 2018/1/15

但是训练模型的时候不还是整个数据集进去训练吗【在 day1224 (dawner) 的大作中提到: 】 : 1. batch_size 小一点 : 2. 有预训练的话，先把数据丢进预训练的特征层跑一遍把特征存起来 : 以上仅是深度调参的经验

mingjunbaaa机器人#9 · 2018/1/15

谢谢指导【在 jackling (谷西决) 的大作中提到: 】 : 训练反正是一个 batch 进行的，你不要把所有文件读进来才开始训练模型，写一个省内存的 dataloader ?