有没有任何Java脚本的网页爬虫框架

Question

有没有JavaScript的网页爬虫框架？

Answer 1

尝试PhantomJS。不完全是一个爬虫，但可以很容易地用于此目的。它具有内置的全功能WebKit引擎，并具有保存截图等功能。可用作简单的命令行JS解释器。

Answer 2

服务器端？

尝试节点履带：https://github.com/joshfire/node-crawler

Answer 3

有一个新的框架，只是释放了Node.js的叫spider。它使用jQuery来抓取/索引网站的HTML页面。 API和配置非常好，特别是如果你已经知道jQuery。

从测试套件，这里的爬行纽约时报网站的例子：

var spider = require('../main'); 

spider() 
    .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) { 
    $('a').spider(); 
    }) 
    .route('travel.nytimes.com', '*', function (window, $) { 
    $('a').spider(); 
    if (this.fromCache) return; 

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] } 
    article.body = '' 
    $('div.articleBody').each(function() { 
     article.body += this.outerHTML; 
    }) 
    $('div#abColumn img').each(function() { 
     var p = $(this).attr('src'); 
     if (p.indexOf('ADS') === -1) { 
     article.photos.push(p); 
     } 
    }) 
    console.log(article); 
    }) 
    .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) { 
    var article = {title: $('h1.entry-title').text()} 
    console.log($('div.entry-content').html()) 
    }) 
    .get('http://www.nytimes.com/pages/dining/index.html') 
    .log('info') 
    ;