如何在python中获取完整的网页（使用javascript）

我正尝试使用urllib2从网站获取网页。在我设法登录并检索页面后，我发现页面里面有一些<script>.....</script>。如何保存呈现的输出（网页的完整内容，而不是脚本）？如何在python中获取完整的网页（使用javascript）

你是否说过在任何包含的Javascript已经运行后，你想保存页面的内容？ – 2012-02-04 17:42:51

你是在做这个测试，屏幕抓取一个应用程序，或者是什么？一般来说，使用JavaScript创建页面内容的浏览器，所以你需要一个真正的浏览器来复制... – 2012-02-04 17:44:32

@MattLuongo是的，我试图从一个没有提供我的个人信息一个API。 – CyberSnoopy 2012-02-04 17:47:32

我也想提pywebkitgtk（我一直在使用一个最近很多是嵌入式浏览器）和Selenium。

2012-02-04 18:29:17

硒与实际的浏览器驱动程序是非常有用的，可以模仿大多数人的交互。 – CyberSnoopy 2012-02-04 20:06:41

如果您使用的是urllib，则JavaScript无法轻松处理。

你需要的是一个无头浏览器，例如。 WebKit的。

一个简单的例子可以发现here.

如果你不希望自己局限于蟒蛇，尝试Phantomjs

2012-02-04 17:59:51

回答