应该在哪里放的robots.txt？放置robots.txt文件的位置？
domainname.com/robots.txt
或
domainname/public_html/robots.txt
我把文件中domainname.com/robots.txt，但是当我在浏览器中输入这个它没有打开。
alt text http://shup.com/Shup/358900/11056202047-My-Desktop.png
所在的文件进去你的文件系统取决于你所使用的主机，所以我们很难给出关于一个明确的答案。
最好的描述是：把它放在任何地方index.html（或index.php或其他）文件是代表您的主页。如果这是domainname/public_html/index.html，例如，把它放在domainname/public_html/robots.txt。
在这种情况下，你应该把它放在domainname/public_html/robots.txt，因为public.html文件夹是你的索引文件的位置。
我认为更好的方式来描述它是在你的域的根web文件夹中...所以http://example.com/robots.txt你也可以把你的sitemap.xml放在根目录或在你的目录中用Sitemap: http://example.com/fldr/smap.xml行来引用它robots.txt的。
不要忘记：您可以使用Google Webmaster Tools进行检查，以确保您没有限制任何你没有意思（你也能看到查询和链接哇噢！）。
建议： ID考虑是否有可能使用<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">因为你仍然将获得linkjuice在页面上的链接，但谷歌在指数不会出现，而robots.txt的指令可以留下一个简单的网址在搜索结果页面做说明但将失去的所有链接值指出，这是因为它的robots.txted出（其排名b /锚文本的ç所以得到了什么功劳）
在Web根目录（其中你把显示文件您的网站上）
感谢它的工作，现在我放置在域名/的public_html/index.html的 – 2010-06-06 14:55:49
这是不正确的。它必须位于Web服务器的根目录中，如果您的主页位于子目录中，则该目录不同。 – 2012-06-04 22:08:25
这里的“主页”是指该域名的正确主页。有些机器人也将读取'从子目录robots.txt'文件，但并不像在网站的根“的”的robots.txt一样可靠。 – VoteyDisciple 2012-06-05 18:22:08