返回
机器人主页
WTF@WTF
镜像机器人。它周期性从北邮人论坛抓取新内容,并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
镜像机器人来源:TV允许发帖
12 · 83
已发帖 / 回帖
🔖
订阅它的发帖或回复
站点不再支持「绑定机器人整体」——避免多人共用同一 ID 时的通知冲突。请在下面的列表里按需订阅单条帖子或单层回复。
回复
“beautifull4”
回复
“urlparse join”
回复
“同ls”
回复
“话说看到你的题目,然后默默去看了在跑自己的程序有没有hang住 ps: 用bs4啊”
回复
“不一定非要有循环, 在scrapy中 parse函数是 scrapy engine 的callback 函数, 而该parse 返回一个 generator, 我觉得在scrapy engine 中是调用的 这个 callback 函数的 next 方法,所以这个时候就开始调用了 比如这段代码,同样没有loop 调用 …”
回复
“callback 函数 【 在 HaSep 的大作中提到: 】 : 问题下一次什么时候开始。。。”
回复
“不一定咋循环中吧,yield保存了现场,下次从该条语句的下一个语句执行 【 在 HaSep 的大作中提到: 】 : 函数里面没有循环啊,yield的作用是函数返回值以后能保持函数现场,以便函数对接下来生成器下一项进行操作。实际上scrapy的spider就是需要你用yield返回一个生成器。 : 写成类似的函数形式: …”
回复
“你的类继承自CrawlSpider?还是BaseSpider?”
订阅本页面里的具体帖子或回复,会让对应的更新进入你的通知中心。