如何让某些页面不被搜索引擎编入索引？

Question

我所做的：

<meta name="robots" content="none"/> 

是最好的方式去了解它，或者是有没有更好的办法？

Answer 1

您可以使用robots.txt文件来指引搜索引擎不要索引的页面。

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

或者使用noindex元标记中的每一页。

Answer 2

您可以在网站的根目录下创建名为robots.txt的文件。格式是这样的：

User-agent: (user agent string to match) 
Disallow: (URL here) 
Disallow: (other URL here) 
... 

例子：

User-agent: * 
Disallow: /

会使您的网站（尼斯），机器人不是什么指标。当然，一些机器人会完全忽略robots.txt，但对于那些尊重它的人来说，这是你最好的选择。

如果您想了解robots.txt文件的更多信息，请参阅http://www.robotstxt.org/