3
我正在玩Apache Nutch,我正在成功爬取网站。我想用Nutch制作一个网站的副本,这样我就可以离线访问已抓取的网页。有没有办法做到这一点?我正在寻找类似于接收url的端点,并返回网页的内容,就像我使用curl获取url一样。Nutch - 克隆网站
我知道有更专门的解决方案,如HTTrack,但我想知道是否有可能使用Nutch来做到这一点。
我正在玩Apache Nutch,我正在成功爬取网站。我想用Nutch制作一个网站的副本,这样我就可以离线访问已抓取的网页。有没有办法做到这一点?我正在寻找类似于接收url的端点,并返回网页的内容,就像我使用curl获取url一样。Nutch - 克隆网站
我知道有更专门的解决方案,如HTTrack,但我想知道是否有可能使用Nutch来做到这一点。
我认为你现在不需要这个,但无论如何我正在把我的答案。当然有可能使用Apache Nutch.After注入种子URL和生成的URL的片段抓取,当执行的取命令 -
$ bin/nutch fetch -all
HBase的(这是非常常规使用HBase的作为存储用于Nutch的)webpage
表结构是这样的 -
webpage : {
key : "com.exampe.dev:http/",
f : {
bas : {
timestamp : 1293732801833,
value : "http://dev.example.com/"
},
cnt : {
timestamp : 1293732801833,
value : "DOCTYPE html PUBLIC "-//W3C//DTD X...rest of page content"
},
fi : {
timestamp : 1293676557658,
value : "\x00'\x8D\x00"
},
prot : {
timestamp : 1293732801833,
value : "x02\x00\x00"
},
st : {
timestamp : 1293732801833,
value : "x00\x00\x00\x02"
},
ts : {
timestamp : 1293676557658,
value : "\x00\x00\x01-5!\x9D\xE5"
}
typ : {
timestamp : 1293732801833,
value : "application/xhtml+xml"
}
},
h : {
Cache-Control : {
timestamp : 1293732801833,
value : "private"
},
Content-Type : {
timestamp : 1293732801833,
value : "text/html; charset=UTF-8"
},
Date : {
timestamp : 1293732801833,
value : "Thu, 30 Dec 2010 18:13:21 GMT"
},
ETag : {
timestamp : 1293732801833,
value : 40bdf8b9-8c0a-477e-9ee4-b19995601dde"
},
Expires : {
timestamp : 1293732801833,
value : "Thu, 30 Dec 2010 18:13:21 GMT"
},
Last-Modified : {
timestamp : 1293732801833,
value : "Thu, 30 Dec 2010 15:01:20 GMT"
},
Server : {
timestamp : 1293732801833,
value : "GSE"
},
Set-Cookie : {
timestamp : 1293732801833,
value : "blogger_TID=130c0c57a66d0704;HttpOnly"
},
X-Content-Type-Options : {
timestamp : 1293732801833,
value : "nosniff"
},
X-XSS-Protection : {
timestamp : 1293732801833,
value : "1; mode=block"
}
},
mk : {
_injmrk_ : {
timestamp : 1293676557658,
value : "y"
},
_gnmrk_ : {
timestamp=1293732629430,
value : "1293732622-2092819984"
},
_ftcmrk_ : {
timestamp : 1293732801833,
value : "1293732622-2092819984"
}
},
mtdt : {
_csh_ : {
timestamp : 1293676557658,
value : "x80\x00\x00"
}
},
s : {
s : {
timestamp : 1293676557658,
value : "x80\x00\x00"
}
}
}
下f
列族名为cnt
列将包含首页的整个HTML内容。所以你可以使用它来显式克隆页面。此外,您可以编写自定义插件,实现Parser
或ParseFilter
接口,以捕获页面的全部内容。代码将非常直接。