无法从页面

Question

获取完整dom内容

当我尝试从xvideos获取完整dom内容时（meaby它的网站不是最佳示例，但现在无法再找到）browser.html（）仅返回dom的最后一个div元素。我认为这是在页面上的JavaScript最后呈现的div，但我不确定。

var zombie = require("zombie");                          

zombie.visit("http://www.xvideos.com/", function (err, browser) { 
    console.log(browser.html());       
}) 

感谢

Answer 1

browser.html()不会返回整个页面。快速测试表明，使用zombie获取xvideos.com会导致一些“存根”页面。

这只是一个理论，但可能在xvideos上的家伙使用一些浏览器检测脚本并返回与大多数常见浏览器（UserAgent）不同的浏览器（UserAgent）的存根页面。这可能是一种安全措施，可以保护自己免受爬行者的侵害。