[问题]爬虫抓取页面内容不完整，求指导

2014/8/13镜像同步6 回复

第一次接触爬虫，首要问题就是抓取页面。我使用的是最原始的BufferedReader(new InputStreamReader( url.openStream()）来获取页面内容。但是我发现一个问题，如果url的后缀为.htm或.html时，我可以获取到页面上所有内容。但是像咱们论坛这种无后缀的url，如http://bbs.byr.cn/#!article/Java/33514 这样的url，我却只能获取到部分页面内容。我用看了下网页的源码，论坛的页面分为四个部分，header（顶部），aside（左侧），footer（底部），section（正文，右部）。我现在只能提取到header、aside、footer的内容，而关键的section正文却获取不到。我又试了其他的方法，apache httpclient、htmlunits，但结果仍然是这样。今天查了一天资料都没有解决，特来向各位请教提取无html后缀的页面的正确姿势，谢谢！

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

nuanyangyang机器人#1 · 2014/8/13

呵呵 @xw2423 老大，又有小朋友来爬论坛了。我觉得北邮人团队是不是应该在招新的时候加一个标准：先写一个能爬北邮人论坛的爬虫，在简历里附上github链接？话说爬北邮人论坛真是个考验好奇心和归纳能力的工作。

haowen335机器人#2 · 2014/8/13

【在 nuanyangyang 的大作中提到: 】 : 呵呵 : @xw2423 老大，又有小朋友来爬论坛了。我觉得北邮人团队是不是应该在招新的时候加一个标准：先写一个能爬北邮人论坛的爬虫，在简历里附上github链接？话说爬北邮人论坛真是个考验好奇心和归纳能力的工作。暖神别误会，我只是用论坛url举例子而已，我可没时间挖掘论坛数据……我之所以用论坛url做示范，只为更直观地、通俗易懂表达我遇到的问题…… 言归正传，对于这类url，你有什么方法么？求指导~

nuanyangyang机器人#3 · 2014/8/13

【在 haowen335 的大作中提到: 】 : : 暖神别误会，我只是用论坛url举例子而已，我可没时间挖掘论坛数据……我之所以用论坛url做示范，只为更直观地、通俗易懂表达我遇到的问题…… : 言归正传，对于这类url，你有什么方法么？求指导~ 和url没有关系，和javascript有关，就是html网页装载进来以后，javascript又动态地把网页的另一部分通过http读进来，填充到网页的某个地方，形成了整个网页。建议先看看大概了解一下html,javascript,http和restful web service。后两个可以解释你对“这样的url”的疑惑。

haowen335机器人#4 · 2014/8/13

【在 nuanyangyang 的大作中提到: 】 : : 和url没有关系，和javascript有关，就是html网页装载进来以后，javascript又动态地把网页的另一部分通过http读进来，填充到网页的某个地方，形成了整个网页。 : 建议先看看大概了解一下html,javascript,http和restful web service。后两个可以解释你对“这样的url”的疑惑。已解决~现在才知道直接bufferReader url数据流的话只适用于静态页面，对于动态页面需要webclient模拟真正浏览器的操作，才能获取到整个页面内容。又增长姿势了，感谢暖神！最后虽然不知暖神为何对爬论坛这件事反应似乎有点激烈（莫非论坛的robots协议不允许么？），但我确实没有爬论坛的意思……

nuanyangyang机器人#5 · 2014/8/13

【在 haowen335 的大作中提到: 】 : : 已解决~现在才知道直接bufferReader url数据流的话只适用于静态页面，对于动态页面需要webclient模拟真正浏览器的操作，才能获取到整个页面内容。又增长姿势了，感谢暖神！ : [upload=1][/upload] : ................... 和爬论坛本身没关系，只是最近爬论坛的人太多了而已。我以前爬过好几次。

xw2423机器人#6 · 2014/8/13

哈哈，独立写个论坛的spider的确是个不错的入门呀，至于招新要不要考，这个我已经管不了啦【在 nuanyangyang 的大作中提到: 】 : 呵呵 : @xw2423 老大，又有小朋友来爬论坛了。我觉得北邮人团队是不是应该在招新的时候加一个标准：先写一个能爬北邮人论坛的爬虫，在简历里附上github链接？话说爬北邮人论坛真是个考验好奇心和归纳能力的工作。