最好的robots.txt练习隐藏秘密文件夹

Question

我在我的网站有一个秘密文件夹，我不想让搜索引擎知道它。我没有在robots.txt的Disallow规则中放置文件夹名称，因为在robots.txt中写入此文件夹名称意味着告诉我的访问者该秘密文件夹。

我的问题是，即使我没有任何链接发布到这个文件夹，搜索引擎是否能够知道这个文件夹/抓取它？

Answer 1

隐藏所有人的唯一真正可靠的方法是将其放在密码后面。如果你绝对不能把它后面的密码，一个创可贴解决方案是命名的文件夹类似：

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/ 

，然后阻止只是名字的第一个部分，像这样：

Disallow: /secret- 

这将有效地阻止目录而不透露其全名。它会阻止任何遵从robots.txt的爬虫爬取目录，但它不会使目录容易被恶意爬虫找到。只是不要误以为这是实际的安全。这将保持主要的搜索引擎。除此之外没有任何保证。再一次，让每个人远离秘密目录的唯一真正可靠的方法是将目录放在密码后面。

Answer 2

是的，他们可以抓取它。

您的文件夹根本不是“秘密”。快速搜索curl命令行来下载整个站点，然后在您的站点上尝试它来说服自己，您的安全方法是无效的。

这里是一个很好的例子：download allfolders subfolders and files using wget

你可以的.htaccess防止剂能够请求目录列表，而这可能会保护你相当不错，如果你不给你的文件夹的名称明显像“网站”，但我会测试它。 请参阅deny direct access to a folder and file by htaccess