如何在索引到谷歌时阻止一个URL？

Question

我有一个开发服务器，我有100个网站（文件夹）放置但我指向每个文件夹与另一个域，但我仍然可以访问该文件夹使用服务器IP或域的权利？如何停止索引由服务器的ip或域打开的url？

如：

服务器是：myserver.com 网站（文件夹）：mywebsite

我可以访问此像myserver.com/mywebsite

我呼吁其他域newwebsite.com和指着mywebsite文件夹这是目前在myserver.com然后我就可以使用newwebsite.com访问同一个文件夹，我需要停止索引myserver.com/mywebsite ..任何一个可以帮助我在这？提前致谢。

Answer 1

在您添加到谷歌的版本库，你可以添加一个文件，每一个网站叫Robots.txt。此文件包含您的所有规则：

1. 将对哪些页面和URL进行索引并遵循。
2. 哪些URL拒绝抓取工具访问为隐藏点。
3. 你可以在这个documentation了解所有其他规则。

例如，您可以阻止在各个领域您最喜欢的网址（或子域）这样的：

User-agent: * 
Disallow: /~joe/junk.html 
Disallow: /~joe/foo.html 

不记得robots.txt文件必须放置在每个网站的根目录被抓取工具检测到。 问候