有无论如何记录在Nutch crawl中被忽略的网址列表吗？

Question

我正在使用Nutch抓取种子文件中指定的深度为100和topN 10,000的URL列表，以确保完全抓取。此外，我试图忽略在他们的路径中使用正则表达式重复字符串urlsil-urlfilter http://rubular.com/r/oSkwqGHrri

但是，我很想知道哪些网址在爬网过程中被忽略。无论如何，我可以记录Nutch在爬行时“忽略”的网址列表吗？

Answer 1

该链路可以通过使用下面的命令可以找到

仓/ Nutch的readdb PATH_TO_CRAWL_DB -stats -sort -dump DUMP_FOLDER设置格式的csv

这将产生部分-00000文件中dump_folder其中将包含url列表及其状态分别。

具有db_unfetched状态的那些已被履带式程序忽略。