Robots.txt禁止所有内容并仅允许网站/页面的特定部分。 Ultraseek和FAST等抓取工具是否支持“允许”？

Question

只是想知道是否有可能禁止整个网站的抓取工具，只允许特定的网页或部分？ FAST和Ultraseek等抓取工具是否支持“允许”？

Answer 1

有一个Allow Directive然而，不能保证一个特定的机器人将支持它（很像是不能保证机器人甚至会检查您的robots.txt开始）。你可以通过检查你的博客来判断具体的机器人是否只索引你允许的网站部分。

允许只是一个特定网页或网站的部分可能类似于格式：

Allow: /public/section1/ 
Disallow:/

这（应该）防止爬行或下/公/ SECTION1