1. 首页
  2. 问答
  3. 搜索引擎的robot.txt

搜索引擎的robot.txt

2011-06-15 120 views
0

我想添加一个robot.txt的，所以我的网页，可以发现...搜索引擎的robot.txt

所以我听说将与meta标签一个robot.txt在我的网站的根能做这个。

  • 这是真的？如果是这样，
  • 什么会增加或产生此robot.txt的步骤？

我发现this

来源

2011-06-15 cMinor

回答

2

robots.txt的则多为告诉爬虫在哪里，在哪里不能去一旦他们已经达到了您的网站。

将网页抓取到您网站上的更好方法是为您的网站建立一个sitemap，然后使用Google Webmaster将此网站地图提交给Google。您还需要将站点地图包含在您网站的根网址中，并告知Google它在哪里（所有这些都可以在Google的网站站长工具中完成）。

来源

2011-06-15 20:12:27 cmwright

1

不，它不会让你的网页突然可见。它只是指示网络爬虫如何索引您的网站。

http://www.robotstxt.org/

来源

2011-06-15 05:32:14

相关问题

 相关问题