如何在服务器上禁止的目录使用robots.txt

我在同一个服务器的两个领域，我想禁止搜索引擎在其中的一个：如何在服务器上禁止的目录使用robots.txt

www.example.com - >指向根 www.example.net - >指向目录

我加入的.net为禁止所有目录的robots.txt的用于www.example.net这样的：

User-agent: * 
Disallow:/

我做了正确的事情？我是否只在.net禁止搜索引擎？

2014-10-03 Neil

如果您的文件可在'www.domain.com/robots.txt'它将被读取。 – 2014-10-03 07:23:08

@hebron OP想知道'.net'的'.com'重定向是否会导致他们的'robots.txt'不能被读取。看到我的答案.. – cybermonkey 2014-10-03 07:30:53

这不是我如何理解他的问题，我的理解是'.net'域指向'.com'域下面的文件夹。并且他已将“robots.txt”添加到该目录。 – 2014-10-03 07:35:36

正如上this page可以看出，是的，你这样做完全正确的事情：

User-agent: * 
Disallow:/

如果这两个网站都位于同一目录下，有作为就我没办法意识到只能针对一个站点禁止robots.txt。但是，正如同一页也指出的那样，这仅适用于well behaved robots，这意味着某些搜索引擎可以完全关闭robots.txt。

如果你真的需要的.net从搜索引擎固定，这样做的一个简单的方法是将在.htaccess（用户名和密码保护的任何用户访问.net也必须有用户名/密码）：

AuthType Basic 
AuthName "Password Protected Area" 
AuthUserFile /path/to/.htpasswd 
Require valid-user

htpasswd的：

[user]:[password]

2014-10-03 07:19:58 cybermonkey

感谢您的信息！我知道这是不可能的，只禁止一个目录或域，因为它们在同一个目录中。 – Neil 2014-10-03 09:10:48

回答