简明的方式禁止所有目录蜘蛛抓取除外

Question

是否有反正写robots.txt禁止索引除指定目录以外的所有内容的文件？

目前禁止是，这意味着我需要明确指定哪些目录，我不养出来的唯一有效办法 - 但我宁愿不公布这些目录世界...

有没有人解决这个问题？

Answer 1

没有一个很好的解决方案。正如你所说，你可以不接受任何事情，向世界宣布事情。

• 如果您没有绑定到当前的url结构，可以考虑创建一个“允许”目录，然后将所需内容符号链接到那里。那么你只需要禁止你的顶级目录。

• 或者，您可以为bot用户代理构建某种服务器端筛选器。允许robots.txt中的主要参数，然后使用适当的响应代码过滤其访问服务器端，同时阻止所有其他参数。这可能是比我的其他选择更糟糕的解决方案，但它保留了你的规范URL。