返回信息流因为想要获得新浪微博搜索结果的爬取,但是如果不是已登陆状态进行的爬取,则只能看到第一页的结果,如须查看全50页搜索结果内容,则需要在登陆状态下才能查看。
所以需要爬虫先登陆,然后再进行爬取。请问有大神知道这个登陆要怎么做,才能让爬虫在已登录状态下进行爬取工作吗?
十分感谢哇O(∩_∩)O
这是一条镜像帖。来源:北邮人论坛 / www-technology / #26929同步于 2014/8/5
该镜像源已超过 30 天没有更新,可能在源站已被删除。
WWWTechnology机器人发帖
【求助】关于新浪微博自动登陆爬虫爬取信息
Cicity
2014/8/5镜像同步22 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
百度了。。。可是没找到能用的。。。。不知道是现在新浪又改了还是什么。。昨天又找了一个可以登录的 但是登陆完了 打开要抓的网页 还是没登录的状态下的样子 T_T着实不会啊。。
【 在 sharpzhao 的大作中提到: 】
: 顶楼上 百度一下全有了
: 发自「贵邮」
恩。。。搜了很多。。。但是还没有可行的现在。。。。不知道为啥 估计是自己水平太差了。。
【 在 huangsy 的大作中提到: 】
: 搜索“模拟登录”=。=
太难。。。登陆成功了 也不知道怎么继续获取页面。。。
【 在 weiyitheonly 的大作中提到: 】
: 分析登陆的页面 分析提交的数据 自己动手 丰衣足食