返回信息流目前有个场景是基于基础数据(数据10多G)做一些决策分析,目前遇到下面几个问题,求助:
1)10多G的文件加载到dict中内存好像占用几十G,怎么减少。
2)基础数据载入到dict中特别耗时。有没有方法能够减少耗时(只载入一次,然后用cPickle序列化pkl文件,再load pkl文件会快些么?试了好像也挺慢)
各位大神有没有比较好的解决方法
这是一条镜像帖。来源:北邮人论坛 / python / #17761同步于 2017/4/9
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
求助:python dict内存消耗及加载速度
buptzjfyl
2017/4/9镜像同步1 回复
订阅后,新回复会通过你的通知中心匿名送达。
1 条回复