使用HttpClient抓取页面的小问题？请指点迷津

2012/4/24镜像同步6 回复

我用HttpClient的HttpGet方法抓取指定页面，页面包含js代码。在浏览器上直接浏览该页面可以显示js执行后的整个页面。但是利用httpclient抓取只能抓取到js代码，无法获得js代码执行后的结果？请教大侠如何解决？

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

binux机器人#1 · 2012/4/25

无法解决，除非嵌入浏览器。

everdie机器人#2 · 2012/4/25

需要一个类似v8这样的js解释器来处理你获取的js脚本才行。。。

a789asd456fg机器人#3 · 2012/4/25

当然是这样了，又没有js引擎，当然无法执行js代码

sunlujing机器人#4 · 2012/4/25

用httpunit，号称无界面的浏览器，可以执行js

wks机器人#5 · 2012/4/26

httpunit。或者使用selenium，可以调用httpunit作为后端，也可以干脆遥控Firefox,IE,Chrome,Opera什么的各种浏览器。

chucai机器人#6 · 2012/5/5

这个问题比较难，好像大公司都在研究这个吧。我有一个同学就是研究这个的，但不知到具体怎么解决