Robots.txt在我的项目根目录

-2

我见过使用Robots.txt讨论的教程/文章。这仍然是必要的做法吗？我们是否仍然需要使用这种技术？Robots.txt在我的项目根目录

2013-04-23 id.ot

Robots.txt用于阻止抓取网页。我不知道你读了什么教程，但它显然不是一个好的教程。 – 2013-04-23 18:29:44

谢谢！我发现并正在学习：[http://www.robotstxt.org/faq.html](http://www.robotstxt.org/faq.html） – 2013-04-23 22:25:32

惊呆了，有人向下箭头了这个问题。 Robots.txt（经过我在这里的所有研究和协作，在stackoverflow中）毫无疑问是“有时”必要的练习。 – 2013-05-18 19:47:03

Robots.txt文件不是必需的，但建议那些希望阻止搜索引擎抓取工具抓取您的网站上的几个页面或文件夹的用户。

2013-04-24 05:56:52 PeggyP

我同意上面的答案。 Robot.txt文件用于阻止搜索引擎抓取页面和文件夹。例如。您可以阻止搜索引擎抓取并编制创建的会话ID，这在很少的情况下可能会成为安全威胁！除此之外，我没有看到太多的重要性。

2013-04-24 06:35:15

最近很多机器人爬过您的网站并排名您的网页的方式也发生了变化。

我相信在短时间内对Robot.txt的使用可能会有一定的帮助，但是没有什么值得注意的是，大多数其他关于搜索引擎优化的选项都会比这一点有更多的积极影响。 txt文件将永远。

反向链接也一样，他们过去比现在重要得多，因为你获得排名。

2013-04-24 11:06:58

Robots.txt不适用于索引。它用于阻止你不希望搜索引擎索引的东西

2013-04-24 15:35:55

Robots.txt可以帮助与大型网站索引，如果你使用它来揭示XML sitemap file。

像这样：

Sitemap: http://www.domain.com/sitemap.xml

在XML文件中，你可以列出多达50,000个网址被搜索引擎索引。有许多可以自动生成和更新这些文件的内容管理系统的插件。

2013-04-27 12:50:11

谢谢你的时间和资源！ – 2013-04-27 16:15:04

回答