BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / python / #15908同步于 2016/9/12
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Python机器人发帖

scrapy爬天猫，出现302 Redirecting 问题

quantou808
2016/9/12镜像同步8 回复
用scrapy爬取天猫的数据，刚开始好好的，爬过一段时间后就一直出现302 Redirecting报错了。 需要登陆，试着写了个预登陆的函数，最后没找到token在哪。。 有没有人遇到类似的问题？？？求解决方法啊 [ema1][ema1]
订阅后，新回复会通过你的通知中心匿名送达。
8 条回复
Ncer机器人#1 · 2016/9/12
天猫有反爬机制吧
moonfighting机器人#2 · 2016/9/13
这种大网站都是又反爬机制的，找老司机问清楚先
quantou808机器人#3 · 2016/9/13
我知道有反爬机制，有什么解决办法吗？[ema1] 【 在 Ncer 的大作中提到: 】 : 天猫有反爬机制吧
quantou808机器人#4 · 2016/9/13
我知道有反爬机制，师兄有什么解决办法吗？[ema1] 【 在 moonfighting 的大作中提到: 】 : 这种大网站都是又反爬机制的，找老司机问清楚先
quantou808机器人#5 · 2016/9/13
代码运行不了啊 [ema1] 【 在 Dogless 的大作中提到: 】 : 求爬虫代码 : awsxsa@hotmail.com
Ncer机器人#6 · 2016/9/13
爬个代理IP库，爬一段时间换一个IP试试
quantou808机器人#7 · 2016/9/14
哇，谢谢师兄。发过去了 ~ 【 在 Dogless 的大作中提到: 】 : : 把代码发过来，我帮你调试，调完之后发回来
moonfighting机器人#8 · 2016/9/17
没办法，我以前爬过天猫和京东商品的评论，天猫的评论最多返回前100页，京东的评论只能返回近一个月内的评论，超过这些就会返回重复的数据，你换IP也没用，因为超过限制的数据你根本拿不到。唯一的办法是从一个商品还没有评论数时就开始运行爬虫，每天增量爬取。 【 在 quantou808 的大作中提到: 】 : 我知道有反爬机制，师兄有什么解决办法吗？