apache nutch不抓取网站

Question

我已经安装了apache nutch进行网络抓取。我想抓取一个网站，有以下robots.txt：

User-Agent: * 
Disallow:/

有什么办法抓取本网站使用Apache Nutch的？

Answer 1

在Nutch的-site.xml中，设置protocol.plugin.check.robots假

OR

您可以注释掉在机器人检查完成的代码。 在Fetcher.java中，第605-614行正在进行检查。评论整个块

 if (!rules.isAllowed(fit.u)) { 
     // unblock 
     fetchQueues.finishFetchItem(fit, true); 
     if (LOG.isDebugEnabled()) { 
      LOG.debug("Denied by robots.txt: " + fit.url); 
     } 
     output(fit.url, fit.datum, null, ProtocolStatus.STATUS_ROBOTS_DENIED, CrawlDatum.STATUS_FETCH_GONE); 
     reporter.incrCounter("FetcherStatus", "robots_denied", 1); 
     continue; 
     } 

Answer 2

您可以在nutch-site.xml中将属性“Protocol.CHECK_ROBOTS”设置为false以忽略robots.txt。