0
A
回答
0
如果您知道内部网的所有网址，请编写一个robots.txt（或与所有网址相同的网页并指向该网址）。
如果您不这样做，那么您将永远无法安全地抓取所有网址，因为您无法在抓取后对其进行验证。
在最后一种情况下，最好的机会是在最大深度进行爬网。
Regards
相关问题
- 1. 索引网址使用nutch注入网址内容
- 2. Solr使用Nutch Crawler索引
- 3. 如何阅读Nutch索引的内容？
- 4. Nutch履带不索引HTML内容
- 5. 如何仅使用Nutch索引某些网址的页面？
- 6. Nutch，蜘蛛，索引网页它已经在它的索引？
- 7. 如何索引nutch中的所有元标记
- 8. Apache Nutch不索引整个网站，只有子文件夹
- 9. SolrIndexer索引器失败nutch
- 10. Nutch网络蜘蛛，索引整个网络
- 11. 如何使用Elasticsearch 5.x与Nutch /如何索引Elasticsearch 5中的HTML网页？
- 12. 检索所有记录 - 内部连接
- 13. TYPO3索引搜索引擎 - 并非所有的页面内容被索引
- 14. 使用nutch索引我的本地HTML文件
- 15. 您是否使用过elasticsearch索引nutch爬行结果？
- 16. 为什么nutch不会搜索所有英文网站的链接？
- 17. 参考内部索引？
- 18. 使用Nutch如何抓取uisng ajax网页的动态内容？
- 19. 整合nutch 2.3.1与solr 6.4.1，索引作业有问题
- 20. Nutch提取的页面没有被索引到Solr
- 21. 如何限制drupal搜索索引所有内容类型？
- 22. 使用Nutch内容限制的建议
- 23. 索引/搜索PDF内容使用Solr
- 24. HTTPS使用Nutch
- 25. IOExeption使用Nutch
- 26. 列出所有索引
- 27. OrientDB：列出所有索引
- 28. 谷歌没有索引我的网站中的所有页面
- 29. 如何阻止搜索引擎索引从origin.domainname.com开始的所有网址
- 30. 探索nutch over hadoop