BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #22907同步于 2017/3/10
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖

【问题】tensorflow中读取大规模tfrecord如何充分shuffle？

zkkai
2017/3/10镜像同步3 回复
如题，假设tfrecord中顺序存有20万张label=1的图片和20万张label=2的图片，`tf.train.shuffle_batch()`的`min_after_dequeue`太大则会内存溢出，太小则不能将两个类别的图片充分shuffle（因为是顺序存储的）。 请问如何解决？
订阅后，新回复会通过你的通知中心匿名送达。
3 条回复
moonfighting机器人#1 · 2017/3/10
在生成tfrecord之前先把图片list shuffle一下？
wlgcqh机器人#2 · 2017/3/10
shuffle索引？ 发自「贵邮」
zkkai机器人#3 · 2017/3/10
感觉这样还是不够随机，shuffle_batch这个函数决定了只能对tfrecord进行部分shuffle。我觉得对tfrecord进行全体shuffle才是比较好的。因此主要是想问问tf中有没有此类函数吧 【 在 moonfighting (【意涵团】 ) 的大作中提到: 】 : 在生成tfrecord之前先把图片list shuffle一下？