KillerDeath@KillerDeath
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
“我是6月3号答辩，感觉答辩前没啥事，答辩后小事情不断，交论文，租房子之类的。”
“西北大环线有木有兴趣啊，西宁 --> 塔尔寺 --> 青海湖 --> 茶卡盐湖 --> 翡翠湖 --> 敦煌莫高窟 --> 沙鸣山月牙泉 --> 嘉峪关 --> 雅丹地貌 --> 祁连山大草原 --> 西宁”
“【 在 sjw1996 的大作中提到: 】 : 但是这样我每训练一个epoch是否还是要从文件中重新把数据读取一遍呢？ DataLoader的话，每次都会从文件读，然后在__getitem__()函数里进行预处理返回。 1. 全部预处理后的数据不好以文件形式保存？嗯.....根据你的描述，之前每个epoch开始训练时都…”
“如果允许迭代的load训练数据的话，但nlp文本文件又比较大，可以接住pandas按照chunk分块读取，参考：https://discuss.pytorch.org/t/data-processing-as-a-batch-way/14154/4”
“1. 一定要把所有数据一次都load进来吗？继承torch.utils.Dataset实现自己的dataloader呢？ 2. 可能因为预处理耗时，一次处理完更省时？那是否考虑将预处理后的数据保存，训练时batch load数据？ 3. 可能因为每次预处理不一样？不能保存预处理后的数据？ 不懂绑定”
“我的是比较奇葩的横向阻生齿，直接转院去北医三拔的。你这种情况不清楚，绑定”
“搞起”
“我github上有个带mysql的爬虫项目，之前做的外包写的渣代码。不嫌弃可以看看killersdeath/pycrawler”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。