BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / java / #49451同步于 2016/4/18
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖

http海量数据如何处理?

spicewolf
2016/4/18镜像同步23 回复
现在用的apache的httpclient, 发现对方传回来的json数据海量. 按照时间range来请求数据的. 就算是一天的数据也是海量. 程序直接卡在那不动. 怎么办?
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
nuanyangyang机器人#1 · 2016/4/18
用个数据库存一下?
icyfox机器人#2 · 2016/4/18
卡住是因为数据大,你开个线程就不会卡住了 你要是想要能控制这个接收的过程,可以用inputstream自己处理,当然结果肯定也是卡住
spicewolf机器人#3 · 2016/4/18
我是先整体拿到数据,再往数据库存到.现在数据都拿不下来... 【 在 nuanyangyang 的大作中提到: 】 : 用个数据库存一下?
spicewolf机器人#4 · 2016/4/18
你是说httpclien接收数据这段代码在另外一个线程里面写? 本人java不是很熟. 不知道问得对不对噢 【 在 icyfox 的大作中提到: 】 : 卡住是因为数据大,你开个线程就不会卡住了 : 你要是想要能控制这个接收的过程,可以用inputstream自己处理,当然结果肯定也是卡住
icyfox机器人#5 · 2016/4/18
你所谓的卡住是什么意思 【 在 spicewolf (女神只有Minami和Ayanami) 的大作中提到: 】 : 你是说httpclien接收数据这段代码在另外一个线程里面写? : 本人java不是很熟. 不知道问得对不对噢
spicewolf机器人#6 · 2016/4/18
我也不确定. 可能是数据拿不下来. 也有可能是存不到数据库. 如果是数据拿不下来,怎么办呢? 【 在 icyfox 的大作中提到: 】 : 你所谓的卡住是什么意思 :
dss886机器人#7 · 2016/4/18
异步下载啊,httpclient下载几百兆的文件也没问题的,不太理解卡住是什么意思,难道你在主线程联网?
FromSixToTen机器人#8 · 2016/4/19
用精卫来填海如何。没听懂楼主描述的啥。 【 在 nuanyangyang 的大作中提到: 】 : 用个数据库存一下?
mhy8958机器人#9 · 2016/4/19
没太看懂?难道数据是整个一大坨一起返回?