只允许robots.txt中的一个目录文件？

Question

我想只允许目录/minsc的一个文件，但我想不允许目录的其余部分。

在robots.txt

现在是这样的：

User-agent: * 
Crawl-delay: 10 
# Directories 
Disallow: /minsc/ 

，我想允许的文件是/minsc/menu-leaf.png

我怕造成伤害，所以我dont'know如果我一定要使用：

A）

User-agent: * 
Crawl-delay: 10 
# Directories 
Disallow: /minsc/ 
Allow: /minsc/menu-leaf.png 

或

B）

​​

？

非常感谢我的英语。

Answer 1

根据the robots.txt website：

要排除所有文件，除了一个

这是目前有点尴尬，因为没有“允许”字段。该 简单的方法是把所有的文件将被禁止到一个单独的 目录，说“东西”，并留下了一个文件中的一级，这 上面的目录：

用户代理：*

不允许：/〜乔/材料/

或者你可以明确地禁止所有禁止的网页：

用户代理：*

不允许：/~joe/junk.html

不允许：/~joe/foo.html

不允许：/~joe/bar.html

据Wikipedia，如果你要使用允许指令，它应该不允许走之前最大的兼容性：

Allow: /directory1/myfile.html 
Disallow: /directory1/ 

此外，你应该把抓取延迟最后，根据Yandex：

为了保持与可能从 标准处理时的robots.txt偏离机器人的兼容性，抓取延迟指令需要 是添加到以Disallow和Allow指令之后的用户代理记录 开头的组）。

那么，到底，你的robots.txt文件应该是这样的：

User-agent: * 
Allow: /minsc/menu-leaf.png 
Disallow: /minsc/ 
Crawl-delay: 10 

Answer 2

Robots.txt是一种可以被不同解释的“非正式”标准。唯一有趣的'标准'实际上是主要参与者如何解读它的。

，我发现这个源说，通配符（“*” - 风格通配符）不支持：

还要注意的是通配和正则表达式无论是在用户代理或禁止线不被支持。用户代理字段中的'*'是一个特殊的值，意思是“任何机器人”。具体而言，您不能拥有“User-agent：bot”，“Disallow：/ tmp/*”或“Disallow：* .gif”之类的行。

http://www.robotstxt.org/robotstxt.html

所以根据这个源，你应该用你的选择（一）坚持下去。