请假一个python处理mysql的问题

2016/10/22镜像同步10 回复

更新，pymysql里面有个fetchmany方法可以解决问题，可以指定一次获取结果的数量，然后再写个循环就行了 ----------------------------------------------------- 我用的是python的pymysql库。需要从一个表中取出一列，但是这一列估计得有上百万行，请问有什么好的处理方法吗？一次全取出来放到list中貌似行不通 ----------------------------------------

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

nuanyangyang机器人#1 · 2016/10/22

放心，你不是第一个遇到这个问题的人。

bythw机器人#2 · 2016/10/22

我暂时是使用fetchmany这个方法，每次获取100个结果【在 nuanyangyang 的大作中提到: 】 : 放心，你不是第一个遇到这个问题的人。

nuanyangyang机器人#3 · 2016/10/22

https://dev.mysql.com/doc/connector-python/en/connector-python-example-cursor-select.html 看看官方的例子，并没有创建很大的list啊，只是用cursor而已。

buptmuye机器人#4 · 2016/10/22

按照ID分段取，500一组。担心内存不够用可以写文件。

congshen机器人#5 · 2016/10/22

楼主最后是怎么解决的··我之前做的时候是是按id来限制数量的，但是方法不太好

binux机器人#6 · 2016/10/23

你用 cursor 读，不会一次把结果全读内存里的。直接读就行了（你自己全放内存当我没说）。

bythw机器人#7 · 2016/10/23

执行完查询后用fethmany可以指定获取结果的数量【在 congshen 的大作中提到: 】 : 楼主最后是怎么解决的··我之前做的时候是是按id来限制数量的，但是方法不太好

jackling机器人#8 · 2016/10/23

原来还可以用cursor读发自「贵邮」

congshen机器人#9 · 2016/10/23

获取指定量之后，下一轮的数据用什么游标来定位呢？还是说，fetchmany可以自动后延游标呢【在 bythw 的大作中提到: 】 : 执行完查询后用fethmany可以指定获取结果的数量