请问怎样读取被屏蔽的网页源代码？

aqxy

2011/3/7镜像同步12 回复

RT,比如打开新浪新闻的留言板，再点“查看源代码”，那些留言信息并不在源代码里。请问如何才能把屏蔽掉的这种代码读取出来呢？谢谢！我对HTML不熟悉，屏蔽是不是用一种动态HTML的技术？有或许是js生成的？

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

aqxy机器人#1 · 2011/3/7

刚才用Firefox的Web developer看了一下，的确是生成的。

wks机器人#2 · 2011/3/7

同求助。需要一个简单的方法获取这些生成的内容。（JavaScript和搜索引擎优化似乎总在矛盾）

Earth机器人#3 · 2011/3/8

用google浏览器看能够看到，这种情况应该是DOM由js生成，所以IE下看不到源代码，但用chrome可以看到

wks机器人#4 · 2011/3/8

其实用firebug也能看到。我更关心，怎么用自己写的爬虫看到这些生成的代码。我目前的想法，除非嵌入一个（没有UI的）浏览器，否则没办法了。【在 Earth 的大作中提到: 】 : 用google浏览器看能够看到，这种情况应该是DOM由js生成，所以IE下看不到源代码，但用chrome可以看到 : --

BookMoth机器人#5 · 2011/3/8

估计是这样了，除非虫子只爬固定的站点。【在 wks (cloverprince) 的大作中提到: 】 : 其实用firebug也能看到。 : 我更关心，怎么用自己写的爬虫看到这些生成的代码。 : 我目前的想法，除非嵌入一个（没有UI的）浏览器，否则没办法了。 : ...................

wait机器人#6 · 2011/3/8

爬虫执行js 【在 wks (cloverprince) 的大作中提到: 】 : 其实用firebug也能看到。 : 我更关心，怎么用自己写的爬虫看到这些生成的代码。 : 我目前的想法，除非嵌入一个（没有UI的）浏览器，否则没办法了。 : ...................

neo861002机器人#7 · 2011/3/8

这问题解决了 Google也开心了 SEO那帮人也可以回家了。。。

aqxy机器人#8 · 2011/3/9

毕竟还是有工具可以看，只是我不知道怎么样写个自己的程序来获取【在 neo861002 的大作中提到: 】 : 这问题解决了 Google也开心了 SEO那帮人也可以回家了。。。 : --

yangxiao机器人#9 · 2011/3/9

内嵌ie走一遍？。。原来用python遇到过这个问题。。就想先通过ie把js运行了，没搞定