的robots.txt和Meta标签机器人

2012-02-11 83 views 1 likes

我要确保我明白这一点：的robots.txt和Meta标签机器人

此：<meta content="noindex, nofollow" name="robots" />在网页中

的<head>是一样的：

在Robots.txt

Disallow: /example-page.html

对不对？

来源

2012-02-11 L84

@casperOne - 我很好奇这是如何脱离主题？这是一个关于Robots.txt的Web开发问题。 – L84 2012-06-08 00:31:27

回答

in the <head> of a webpage is the same as:是的，如果你是在谈论example-page.html的<head>。唯一的区别是，当你在meta标签中对机器人进行限制时，蜘蛛仍会要求该页面。如果该页面由任何服务器端脚本生成，并且您计算其显示的次数或收集与此页面的访问相关的任何其他信息（例如，来自访问日志），则这可能是非常重要的。

机器人（来自普通搜索引擎的有效机器人）将访问该页面，读取元标记，并随后不索引它，同时在robots.txt中的记录将不会被通用蜘蛛执行或在User-agent部分robots.txt中提到的那个。

来源

2012-02-11 03:46:27 Cheery

的robots.txt和Meta标签机器人

回答

相关问题