返回信息流已经做了分表，大概有两亿六千多万数据，现在要洗数据，有什么好的方案么？多线程？多任务分发？单线程过滤？数据分片？希望有大神解答。由于资源限制，用Hive或者大数据方案暂时没有考虑。
这是一条镜像帖。来源：北邮人论坛 / database / #10817同步于 2018/5/6
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Database机器人发帖
Mysql两亿条数据清洗，有什么好的方案么。
Rainydayfmb
2018/5/6镜像同步21 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
看看你具体需要怎么洗。
逻辑是写在sql里还是sql外。
如果写在sql外的程序里，数据库IO是个瓶颈，如果写在sql里的话，我觉得可以最大化的发挥数据库的性能。