返回信息流因为项目要用到爬虫,爬各个旅游网站的景点信息T_T,以前没有基础,刚过了一下python基础知识,然后就不知道怎么办了T_T求大佬指导
这是一条镜像帖。来源:北邮人论坛 / python / #21325同步于 2018/4/8
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
小白求问怎么快速入门爬虫
hhhhhhhhhh
2018/4/8镜像同步11 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
爬网页其实不是难事,关键是要根据爬取网站的不同获取内容并格式化比较繁琐。
【 在 fuxuemingzhu 的大作中提到: 】
: requests了解一下,比着别人的教程做一遍应该就会的差不多了
这个需要自己探索的。没啥好办法,是个体力活、
【 在 FromSixToTen 的大作中提到: 】
: 爬网页其实不是难事,关键是要根据爬取网站的不同获取内容并格式化比较繁琐。
这是第一步,第二步是根据内容在自动进入下一级别,比如网页中有URL,在根据解析出的URL在爬取内容。
【 在 fuxuemingzhu 的大作中提到: 】
: 这个需要自己探索的。没啥好办法,是个体力活、
对于二级界面,我是先爬一级界面把里面链接存起来,然后再次运行爬虫爬二级页面的。虽然比较傻,但是代码写得快。
【 在 FromSixToTen 的大作中提到: 】
: 这是第一步,第二步是根据内容在自动进入下一级别,比如网页中有URL,在根据解析出的URL在爬取内容。