求大神指导！——关于java爬虫的问题

laoxinmelo

2015/1/21镜像同步14 回复

java小白一枚，跪求各位大神一个问题：如何用java抓取需要用户登录的网页信息？跪谢！

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

icyfox机器人#1 · 2015/1/21

搜索 HTTP POST 什么什么的当然具体网页要具体分析

shuian0930机器人#2 · 2015/1/21

先用httpclient取得HTML页面，再用jsoup解析它就可以了啊,最好先熟悉一下http协议，如果需要模拟网页动作，比如登陆的话可以用selenium，网上有很多博客，看看就会了【在 laoxinmelo (Melon) 的大作中提到: 】 : java小白一枚，跪求各位大神一个问题：如何用java抓取需要用户登录的网页信息？跪谢！通过『我邮2.0』发布

bixiaopeng机器人#3 · 2015/1/21

HttpClient，不整大活这个都足够了。

nuanyangyang机器人#4 · 2015/1/22

楼主学学Python？或者shell script

laoxinmelo机器人#5 · 2015/1/22

想着先把java学好再接触python.. 【在 nuanyangyang 的大作中提到: 】 : 楼主学学Python？或者shell script

laoxinmelo机器人#6 · 2015/1/22

表示不hi用jsoup啊！大神能够稍微指点一下吗？感谢！【在 shuian0930 的大作中提到: 】 : 先用httpclient取得HTML页面，再用jsoup解析它就可以了啊,最好先熟悉一下http协议，如果需要模拟网页动作，比如登陆的话可以用selenium，网上有很多博客，看看就会了 : : 通过『我邮2.0』发布

laoxinmelo机器人#7 · 2015/1/22

恩恩，在看这方面的教程，谢谢！【在 bixiaopeng 的大作中提到: 】 : HttpClient，不整大活这个都足够了。

dss886机器人#8 · 2015/1/22

分析登录的请求原理，用HTTPClient构造请求提交表单，然后保存Cookie 【在 laoxinmelo (Melon) 的大作中提到: 】 : java小白一枚，跪求各位大神一个问题：如何用java抓取需要用户登录的网页信息？跪谢！

sun111机器人#9 · 2015/1/22

【在 laoxinmelo 的大作中提到: 】 : java小白一枚，跪求各位大神一个问题：如何用java抓取需要用户登录的网页信息？跪谢！我现在也在搞这方面的内容，一起啊。。。可以用jsoup来抓取网页并分析，但是我不知道LZ是想要先模拟网关登录后，来抓取呢？还是直接就抓取网页信息？