如何为子域设置Robots.txt文件？

Question

我有一个子域名，例如blog.example.com，我希望这个域名不要由Google或任何其他搜索引擎索引。我把“博客”文件夹我的robots.txt文件中的服务器配置如下：

User-agent: * 
Disallow:/

难道是罚款不被谷歌索引？

我的网站前几天：blog.example.com显示931个链接，但现在它显示1320页。我想知道如果我的robots.txt文件是正确的，那么为什么谷歌索引我的域名。

如果我做错了什么，请纠正我。

Answer 1

拉胡尔，

不知道您的robots.txt是逐字的，但一般的指令是两行：

User-agent: * 
Disallow:/

该文件必须是可访问的http://blog.example.com/robots.txt - 如果它不是来自访问该网址，搜索引擎蜘蛛将无法找到它。

如果您的网页已被Google编入索引，您还可以尝试使用Google网站管理员工具从索引中手动删除网页。