返回信息流要求:一堆urls地址,需要下载这些地址对应的文件;
例如:
https://n5eil01u.ecs.nsidc.org/SMAP/SPL4SMAU.007/2016.12.15/SMAP_L4_SM_aup_20161215T030000_Vv7032_001.h5
https://n5eil01u.ecs.nsidc.org/SMAP/SPL4SMAU.007/2016.12.15/SMAP_L4_SM_aup_20161215T060000_Vv7032_001.h5
https://n5eil01u.ecs.nsidc.org/SMAP/SPL4SMAU.007/2016.12.15/SMAP_L4_SM_aup_20161215T090000_Vv7032_001.h5
原网站可能需要有用户名和密码
本来用idm下载的,但是现在老识别成html形式了,所以想着能不能用爬虫或者脚本的方式解决
这是一条镜像帖。来源:北邮人论坛 / python / #26245同步于 2023/2/20
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
【问题】url数据下载脚本【有偿】
zxczuishuai
2023/2/20镜像同步6 回复
订阅后,新回复会通过你的通知中心匿名送达。
6 条回复
【 在 Jaysonfather 的大作中提到: 】
: 一个用户名密码就可以吗
不知道耶,兄弟你会嘛,可以看看不用用户名和密码可以下载不。。。不用更好~
【 在 Jaysonfather 的大作中提到: 】
: 如果这些网址都是同一个用户名密码的话可以先登录好再爬,cookie会自动缓存的
: :
主要是爬虫不会耶,所以想着找一个会的同学有偿写一下呢;这些url都是一个用户名和密码的