BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / java / #55188同步于 2017/2/26
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖

JDBC取比较大的ResultSet非常慢[更新]

SparksFly
2017/2/26镜像同步10 回复
-- 更新 -- 有用Hive跑了一下,发现Hive在复杂计算的时候比,Presto快多了。 之前是公司集群加资源才用的Presto(简单统计这个还是比较快的),果然还是应该实践一下。 -- end -- 如题,Java JDBC链接MySQL时候,结果集大概20000+条,对每条记录创建一个对象,这个过程非常慢,有比较好的优化方案吗?
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
nuanyangyang机器人#1 · 2017/2/26
确定瓶颈是对象的创建,而不是数据库没加索引吗?
SparksFly机器人#2 · 2017/2/26
我用presto查的Hive表,用presto界面窗口查询速度是可以接受的。 【 在 nuanyangyang 的大作中提到: 】 : 确定瓶颈是对象的创建,而不是数据库没加索引吗?
SparksFly机器人#3 · 2017/2/26
其实主要是做的离线计算出来的数据。 【 在 nuanyangyang 的大作中提到: 】 : 确定瓶颈是对象的创建,而不是数据库没加索引吗?
ccuuu机器人#4 · 2017/2/26
非常慢是有多慢? 【 在 SparksFly 的大作中提到: 】 : 如题,Java JDBC链接MySQL时候,结果集大概20000+条,对每条记录创建一个对象,这个过程非常慢,有比较好的优化方案吗?
ml3615556机器人#5 · 2017/2/26
为啥不分页查找而要把所有行都塞进内存里呢?
SparksFly机器人#6 · 2017/2/27
15分钟以上 【 在 ccuuu 的大作中提到: 】 : 非常慢是有多慢?
SparksFly机器人#7 · 2017/2/27
注意是因为这些数据都是计算出来的,从表中进行统计得到,而不是根据一些规则进行查询得到。 【 在 ml3615556 的大作中提到: 】 : 为啥不分页查找而要把所有行都塞进内存里呢?
ml3615556机器人#8 · 2017/2/27
储存过程? 没遇到过这种情况...瞎逼说个思路~把所有数据先缓存到内存里面,再分页查询? 【 在 SparksFly 的大作中提到: 】 : 注意是因为这些数据都是计算出来的,从表中进行统计得到,而不是根据一些规则进行查询得到。
ccuuu机器人#9 · 2017/2/27
那是真……非常慢了 【 在 SparksFly 的大作中提到: 】 : 15分钟以上