在没有实际访问页面的情况下获取网页源代码

Question

有很多网页只是运行脚本而没有任何材料。 无论如何看到页面源代码而没有实际访问页面，因为它只是重定向你？

将使用一个html解析器工作来做到这一点？我使用simpleHTMLdom来解析页面？

Answer 1

在Firefox中您可以使用查看源代码协议，以只查看网站的源代码，而无需实际渲染它或它的JavaScript执行。

实例：视图出处：http：//stackoverflow.com/q/5781021/298479（复制到地址栏）

Answer 2

是的，简单的解析HTML将让你的客户端（JavaScript）代码。

当这些页面被用户通过浏览器，浏览器中运行的代码和重定向，但是当你访问使用刮刀或你自己的程序吧，代码不运行，并且可以得到静态脚本。

Ofcourse，你不能访问服务器端（PHP）。这不可能。

Answer 3

获得页面的HTML源代码的唯一方法是发送HTTP请求到Web服务器并接收答案等于访问该页面。

Answer 4

如果您使用的是基于* nix的操作系统，请尝试使用终端的curl。

卷曲http://www.google.com

Answer 5

的wget或猞猁也将工作做好，如果你有机会获得一个命令行Linux的shell：

wget的http://myurl 猞猁突降http://myurl

Answer 6

如果你想HTML-通过执行您将遇到的JavaScript问题，删除构建其内容/视图的90％以上页面的内容，除非您渲染到屏幕（隐藏），然后进行刮取。否则，你会最终抓取几个脚本标签，这对你来说没有什么好处。

例如如果我试图抓取我的Gmail收件箱页面，它是一个空的HTML页面，只有几个分散的脚本标记（可能是几乎所有基于GWT的应用程序的典型代码）

您正在抓取的页面/网站是否具有API？如果没有，是否值得问他们是否有一个在作品？

通常，这些类型的工具，沿着“窃取”信息和“共享”的信息，因此您可能需要小心行事之间的细线运行。

Answer 7

如果你需要一个快速&肮脏的修复，您可以禁用JavaScript和元重定向（Internet Explorer可以在Internet选项对话框禁用这些火狐可以使用NoScript的插件进行同样的效果。）

这将不会有任何服务器端重定向，但会阻止客户端重定向，并允许您查看文档的HTML源代码。