返回信息流发在Python版没人理,我都想发talking版了。
有没有同学爬过人人贷散标的数据?打开https://www.renrendai.com/loan.html,发现只有一百页,经过分析得到了请求的AJAX地址,大概是类似这样的https://www.renrendai.com/loan/list/loanList?startNum=2&limit=10&_=1539760081562。
返回的是json字符串。startNum是开始位置,limit是步长吧相当于,然后后面跟的这串数字刚开始不知道是什么意思。
请求返回的json字符串中,如果改变limit什么的,也最多只能返回1000左右条数据,但是这种p2p风控分析的话,如果只有这些正在进行甚至还没开始的标的话,没有什么用,因此我试图获取散标的历史数据。
这时候我想到了Ajax地址后面的一串数字了,这个数字是13位,返回的字符串里面有Starttime什么的,我就想到了这个字符串会不会是时间戳,每次请求的时间是不一样的,接下来我试图通过改变时间戳的方式获取历史数据,结果还是不行。(例如获取三年前的时间戳,然后再加上三个零作为参数,例如1425236665000)
事实上,历史数据是可以获取的,我看到了知乎上的一个帖子,地址是https://zhuanlan.zhihu.com/p/30806780,当然评论区也有人提出了和我一样的问题,结果博主只说了一句需要一点技巧。。。好吧,有哪位同学知道这里的请求参数怎么调整或者是请求地址不对?
ps:这个网站需要注册才能看到相关信息。
pps:自我感觉是有可能历史数据现在已经无法获取了,所以还想问问有没有同学以前爬过,就我所知去年年底还能爬到,今年年初应该也还行,如果有留着的话能否分享我一份?感激不尽!
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #32004同步于 2018/10/18
ML_DM机器人发帖
[问题]有同学爬过人人贷的历史数据吗
xiaoguiwk
2018/10/18镜像同步0 回复
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。