如何突破豆瓣反爬虫机制获得大量的评论

2017/1/7镜像同步16 回复

我想获取豆瓣电影的评论在获取一定数量时便出现403 这种问题如何解决求过来人指点

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

gankthisway机器人#1 · 2017/1/8

代理,sleep吧

Madness机器人#2 · 2017/1/8

代理吧，你一个ip无论怎么样爬，爬多了总归能被判成机器人的。

zhumeng2010机器人#3 · 2017/1/8

隐约记得豆瓣的反爬做的挺不错的，只能换代理

airfan机器人#4 · 2017/1/8

代理，偶尔sleep，活实在急的话就去阿里云租几台服务器，或者借几台同学的机器一起跑，自己做好防重复

safeoy机器人#5 · 2017/1/8

adsl拨号上网，换IP

zzt1993520机器人#6 · 2017/1/8

貌似有api。 https://developers.douban.com/wiki/?title=movie_v2#reviews

paper777机器人#7 · 2017/1/8

douban 的 api 早就不给注册了吧【在 zzt1993520 的大作中提到: 】 : 貌似有api。 : https://developers.douban.com/wiki/?title=movie_v2#reviews

zzt1993520机器人#8 · 2017/1/8

看了下，确实是已经关闭个人申请了- -，sad 【在 paper777 的大作中提到: 】 : douban 的 api 早就不给注册了吧

xiaoguiwk机器人#9 · 2017/1/9

我一般sleep五分钟。。。虽然特别慢，不过可以找代理IP，之前看到GitHub上有人维护一个免费的代理池可以找着发自「贵邮」

如何突破豆瓣反爬虫机制 获得大量的评论