[已解决]请教一下python爬取动态页面数据的问题

@nuanyangyang

用firefox自带的web developer tool分析一下网页发出的http请求。 【 在 jh1 的大作中提到: 】 : @nuanyangyang

源代码里没有，是用js写的吧，动态数据好像要做 DOM解析才行吧

用chrome 按f12加载的时候看看引入了哪个js文件 分析一下肯定是用的ajax 如果是get请求 直接在url加参数就行 如果是post 请求 就做个模拟提交 然后就会吐出页面信息 发自「贵邮」

var jsonData = { serverSeconds : 1449017372, last_time : 1449017122, path : [{title : "全部", id : "89", cType : "col"}], count : 20358, offset_page : 0, offset_num : 0, list : [ {channel : {title : "国内",id : "90",cType : "col",url : ""},title : "西藏成黑色星期五海淘人均消费能力最强省份",url : "http://news.sina.com.cn/c/nd/2015-12-02/doc-ifxmaznc5853139.shtml",type : '1',pic : '',time : 1449017122}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "视频集锦-天使卡瓦尼憾中框 大巴黎9连胜遭终结",url : "http://video.sina.com.cn/p/sports/g/v/2015-12-02/084565141685.html",type : '3',pic : '',time : 1449017121}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "马布里：我没那么快退役 CBA生涯让我获得重生",url : "http://sports.sina.com.cn/cba/2015-12-02/doc-ifxmcnkr7752115.shtml",type : '1',pic : '',time : 1449017032}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "美称美士兵杀菲变性人被判12年 别破坏与菲关系",url : "http://mil.news.sina.com.cn/2015-12-02/0843845439.html",type : '1',pic : '',time : 1449017003}, {channel : {title : "科技",id : "96",cType : "col",url : ""},title : "汽车尾气净化稀土材料：让十面“霾”伏不再来",url : "http://tech.sina.com.cn/d/i/2015-12-02/doc-ifxmazmz9078362.shtml",type : '1',pic : '',time : 1449016885}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "狗贩售名贵“虎皮犬”实为上色土狗(图)",url : "http://news.sina.com.cn/s/wh/2015-12-02/doc-ifxmaznc5852902.shtml",type : '2',pic : '',time : 1449016700}, {channel : {title : "美股",id : "99",cType : "col",url : ""},title : "扎克伯格得女后承诺捐99%股份做慈善 价值450亿美元",url : "http://finance.sina.com.cn/stock/usstock/c/20151202/083723908419.shtml",type : '1',pic : '',time : 1449016679}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "壮汉扔酒桶7.5米高破纪录 曾演《权力的游戏》",url : "http://news.sina.com.cn/o/2015-12-02/doc-ifxmazpa0609848.shtml",type : '1',pic : '',time : 1449016677}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "科比:去了儿时打球的球场 未来当老板？有可能",url : "http://sports.sina.com.cn/basketball/nba/2015-12-02/doc-ifxmazmy2341797.shtml",type : '1',pic : '',time : 1449016653}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "日本增兵西南诸岛有阴谋：真正意在中国钓鱼岛",url : "http://mil.news.sina.com.cn/2015-12-02/0835845438.html",type : '1',pic : '',time : 1449016557}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "媒体称注册制推出将早于《证券法》整体修订",url : "http://finance.sina.com.cn/stock/y/20151202/083323908374.shtml",type : '1',pic : '',time : 1449016437}, {channel : {title : "娱乐",id : "95",cType : "col",url : ""},title : "韩庚李冰玉恋情曝光 海岛爱相随秘密同居",url : "http://ent.sina.com.cn/s/bg/2015-12-02/doc-ifxmazmz9078116.shtml",type : '1',pic : '',time : 1449016427}, {channel : {title : "国际",id : "91",cType : "col",url : ""},title : "日拟钓鱼岛附近部署约500人自卫队 配反舰导弹",url : "http://news.sina.com.cn/w/zx/2015-12-02/doc-ifxmazmy2341651.shtml",type : '1',pic : '',time : 1449016380}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "皇马公布国王杯17人名单：BBC缺阵 J罗最大牌",url : "http://sports.sina.com.cn/g/laliga/2015-12-02/doc-ifxmazmz9078096.shtml",type : '1',pic : '',time : 1449016376}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "时富证券：美股回升 恒指可高开",url : "http://finance.sina.com.cn/stock/hkstock/marketalerts/20151202/083123908367.shtml",type : '1',pic : '',time : 1449016314}, {channel : {title : "股市",id : "98",cType : "col",url : ""},title : "迎接女儿出生 扎克伯格宣布将捐出99%股份",url : "http://tech.sina.com.cn/i/2015-12-02/doc-ifxmaznc5852666.shtml",type : '1',pic : '',time : 1449016234}, {channel : {title : "国内",id : "90",cType : "col",url : ""},title : "中国足协党委书记回应违纪举报：根本不存在",url : "http://news.sina.com.cn/c/nd/2015-12-02/doc-ifxmcnkr7751653.shtml",type : '1',pic : '',time : 1449016190}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "财政部计划三年置换14.7万亿地方债",url : "http://finance.sina.com.cn/china/20151202/082923908340.shtml",type : '1',pic : '',time : 1449016150}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "印专家称中国崛起与美存冲突 亚洲存在开战可能",url : "http://mil.news.sina.com.cn/2015-12-02/0828845434.html",type : '1',pic : '',time : 1449016092}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "格力前三季度收入同比降17.16% 董明珠曾称没有危机",url : "http://finance.sina.com.cn/stock/s/20151202/082523908330.shtml",type : '1',pic : '',time : 1449015918}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "日本民调称超五成支持自卫队赴南海 日防相肯定",url : "http://mil.news.sina.com.cn/2015-12-02/0825845433.html",type : '1',pic : '',time : 1449015908}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "国际能源署署长：油价2017年开始攀升 未来几年可达80美元",url : "http://finance.sina.com.cn/money/future/fmnews/20151202/082123908293.shtml",type : '1',pic : '',time : 1449015709}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "乐视919发货门事件升级：33名消费者状告索赔三倍",url : "http://finance.sina.com.cn/stock/s/20151202/082123908292.shtml",type : '1',pic : '',time : 1449015705}, {channel : {title : "科技",id : "96",cType : "col",url : ""},title : "Adobe鼓励使用HTML5取代Flash",url : "http://tech.sina.com.cn/it/2015-12-02/doc-ifxmazmy2341203.shtml",type : '1',pic : '',time : 1449015700}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "美国或在日部署萨德反导剑指中俄 换日介入南海",url : "http://mil.news.sina.com.cn/2015-12-02/0821845432.html",type : '1',pic : '',time : 1449015690}, {channel : {title : "国内",id : "90",cType : "col",url : ""},title : "湖南日报社党组书记兼社长覃晓光接受调查",url : "http://news.sina.com.cn/c/sz/2015-12-02/doc-ifxmcnkr7751406.shtml",type : '1',pic : '',time : 1449015680}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "男子穿拖鞋乘轻轨摔倒致残 被判自担40%责任",url : "http://news.sina.com.cn/s/wh/2015-12-02/doc-ifxmaznc5852360.shtml",type : '1',pic : '',time : 1449015674}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "女子为10元红包发裸照 被胁迫开房并遭勒索",url : "http://video.sina.com.cn/p/news/s/v/2015-12-02/082065141677.html",type : '3',pic : '',time : 1449015654}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "王宝泉：我们有机会没抓住 蔡斌：锻炼教练心脏",url : "http://sports.sina.com.cn/others/volleyball/2015-12-02/doc-ifxmazmz9077706.shtml",type : '1',pic : '',time : 1449015645}, {channel : {title : "美股",id : "99",cType : "col",url : ""},title : "IMF：中国有必要进一步推进经济改革",url : "http://finance.sina.com.cn/world/20151202/081923908263.shtml",type : '1',pic : '',time : 1449015572}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "奥巴马称美国支持土耳其 俄土再为IS黑石油互呛",url : "http://mil.news.sina.com.cn/2015-12-02/0818845429.html",type : '1',pic : '',time : 1449015531}, {channel : {title : "国际",id : "91",cType : "col",url : ""},title : "梅德韦杰夫要求按计划执行对土耳其制裁",url : "http://news.sina.com.cn/w/zx/2015-12-02/doc-ifxmazmy2341000.shtml",type : '1',pic : '',time : 1449015434}, {channel : {title : "国际",id : "91",cType : "col",url : ""},title : "土耳其伊斯坦布尔地铁爆炸 俄媒称为恐怖袭击",url : "http://news.sina.com.cn/w/zx/2015-12-02/doc-ifxmaznc5852125.shtml",type : '1',pic : '',time : 1449015338}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "广州一村长暗控黑恶团伙 警方首用无人机侦察",url : "http://video.sina.com.cn/p/news/s/v/2015-12-02/081265141671.html",type : '3',pic : '',time : 1449015160}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "4s店资金断裂关张 百余新车无法上牌",url : "http://news.sina.com.cn/2015-12-02/doc-ifxmcnkr7751137.shtml",type : '1',pic : '',time : 1449015146}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "土耳其总统在巴黎公开呛普京：我敢辞职你敢吗",url : "http://mil.news.sina.com.cn/2015-12-02/0812845428.html",type : '1',pic : '',time : 1449015130}, {channel : {title : "科技",id : "96",cType : "col",url : ""},title : "IDC：今年全球平板电脑出货量将下滑8%",url : "http://tech.sina.com.cn/it/2015-12-02/doc-ifxmaznc5851918.shtml",type : '1',pic : '',time : 1449015003}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "战辽宁首钢有制胜“范本” 咬比分限制郭艾伦",url : "http://sports.sina.com.cn/cba/2015-12-02/doc-ifxmcnkr7751064.shtml",type : '1',pic : '',time : 1449014997}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "塔猜亚丢147连称噩梦 梁文博:最后一局脑子空白",url : "http://sports.sina.com.cn/others/snooker/2015-12-02/doc-ifxmazmz9077355.shtml",type : '1',pic : '',time : 1449014996}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "中国舰机前出西太常遭F15拦截 日方渲染有阴谋",url : "http://mil.news.sina.com.cn/2015-12-02/0809845427.html",type : '1',pic : '',time : 1449014952}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "菲外长妄称南海仲裁是为维护友谊 视中国为朋友",url : "http://mil.news.sina.com.cn/2015-12-02/0806845426.html",type : '1',pic : '',time : 1449014784}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "汇控腾讯等ADR报升 油股报软",url : "http://finance.sina.com.cn/stock/hkstock/marketalerts/20151202/080523908148.shtml",type : '1',pic : '',time : 1449014716}, {channel : {title : "国际",id : "91",cType : "col",url : ""},title : "美防长：美军正派特种部队打击IS 随时突袭",url : "http://video.sina.com.cn/p/news/w/v/2015-12-02/080465141669.html",type : '3',pic : '',time : 1449014667}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "足彩彩果：大巴黎冷平 马竞客场逆转西丙球队",url : "http://sports.sina.com.cn/l/2015-12-02/doc-ifxmazmy2340452.shtml",type : '1',pic : '',time : 1449014618}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "揭秘艾滋男同：通常有10多个性伴 有些甚至上百",url : "http://news.sina.com.cn/s/wh/2015-12-02/doc-ifxmazmz9077074.shtml",type : '1',pic : '',time : 1449014490}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "猖狂劫匪路边绑人上车 搭客司机狂追逼其跳车",url : "http://video.sina.com.cn/p/news/s/v/2015-12-02/080065141663.html",type : '3',pic : '',time : 1449014406}, {channel : {title : "国际",id : "91",cType : "col",url : ""},title : "德通过海外最大规模军事行动 派千名士兵打击IS",url : "http://video.sina.com.cn/p/news/w/v/2015-12-02/075965141661.html",type : '3',pic : '',time : 1449014383}, {channel : {title : "美股",id : "99",cType : "col",url : ""},title : "俄罗斯的报复：或冻结“土耳其流”天然气项目",url : "http://finance.sina.com.cn/world/20151202/075923908068.shtml",type : '1',pic : '',time : 1449014355}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "老板饮料瓶装甲醛喝死工人获缓刑",url : "http://news.sina.com.cn/s/wh/2015-12-02/doc-ifxmazmy2340170.shtml",type : '1',pic : '',time : 1449014335}, {channel : {title : "娱乐",id : "95",cType : "col",url : ""},title : "王大陆被曝欲换东家 或砸钱与柴智屏解约",url : "http://ent.sina.com.cn/m/c/2015-12-02/doc-ifxmcnkr7750548.shtml",type : '1',pic : '',time : 1449014081}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "6旬大爷12年写30万字旅游宝典 计划游遍全球",url : "http://news.sina.com.cn/s/qw/2015-12-02/doc-ifxmcnkr7750511.shtml",type : '1',pic : '',time : 1449014014}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "肯帝亚客战天津盼三连胜 奥登篮板数还想刷新",url : "http://sports.sina.com.cn/cba/2015-12-02/doc-ifxmazmy2339906.shtml",type : '1',pic : '',time : 1449013989}, {channel : {title : "体育",id : "94",cType : "col",url : ""},title : "胡进：比赛结局尴尬纠结 抓住机会完成基本目标",url : "http://sports.sina.com.cn/others/volleyball/2015-12-02/doc-ifxmcnkr7750484.shtml",type : '1',pic : '',time : 1449013950}, {channel : {title : "军事",id : "93",cType : "col",url : ""},title : "俄总理签署对土耳其经济制裁 禁止进口农产品",url : "http://mil.news.sina.com.cn/2015-12-02/0752845423.html",type : '1',pic : '',time : 1449013927}, {channel : {title : "美股",id : "99",cType : "col",url : ""},title : "小摩：耶伦本周将论述12月可能加息的理由",url : "http://finance.sina.com.cn/world/20151202/075123908030.shtml",type : '1',pic : '',time : 1449013889}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "温州书记陈一新调任深改办 曾引领经济走出低谷",url : "http://finance.sina.com.cn/china/20151202/075123908029.shtml",type : '1',pic : '',time : 1449013886}, {channel : {title : "社会",id : "92",cType : "col",url : ""},title : "黑心商用焦亚硫酸钠漂白芋头 称自己从不吃",url : "http://news.sina.com.cn/s/wh/2015-12-02/doc-ifxmazmz9076628.shtml",type : '1',pic : '',time : 1449013745}, {channel : {title : "美股",id : "99",cType : "col",url : ""},title : "图解：人民币“入篮”后对百姓生活有何影响？",url : "http://finance.sina.com.cn/world/20151202/074923908076.shtml",type : '1',pic : '',time : 1449013740}, {channel : {title : "娱乐",id : "95",cType : "col",url : ""},title : "王思聪疑嘲郭富城恋网红：港台明星好忽悠",url : "http://ent.sina.com.cn/s/bg/2015-12-02/doc-ifxmcnkr7750351.shtml",type : '1',pic : '',time : 1449013733}, {channel : {title : "财经",id : "97",cType : "col",url : ""},title : "张高丽在粤调研三天：考察广东自贸区",url : "http://finance.sina.com.cn/china/20151202/074723907995.shtml",type : '1',pic : '',time : 1449013659}] };

ajax渲染过的，抓取前加header

找到包含json数据的URL，由于网站一直在动态更新，所以url参数有个时间参数last_time=1449020824一直在变，这个东西怎么设置，谢谢 : 用chrome 按f12加载的时候看看引入了哪个js文件 分析一下肯定是用的ajax 如果是get请求 直接在url加参数就行 如果是post 请求 就做个模拟提交 然后就会吐出页面信息 : 发自「贵邮」

是当前时间戳吗 【 在 BYRTQ 的大作中提到: 】 : 找到包含json数据的URL，由于网站一直在动态更新，所以url参数有个时间参数last_time=1449020824一直在变，这个东西怎么设置，谢谢 : : 用chrome 按f12加载的时候看看 : ......... 发自「贵邮」

用selenium好了 【 在 oneseven 的大作中提到: 】 想抓取http://roll.news.sina.co...