2011-09-27 40 views
1

我试图找出是否域A上设置的robots.txt文件仍然适用于从域B提供的图像,但实际上显示在域A.robots.txt和服务从一个单独的域的图像

例子:

某处的页面上www.example.com,有一个:

<img src="http://img.example.com/images/myimage.jpg" />` 

www.example.com/robots.txt,它说:

User-agent: * 
Disallow: /images/ 

因此,当蜘蛛击中www.example.com并看到从img.example.com提供的图像时,它会对它进行索引吗?

回答

2

robots.txt仅适用于实际存在的主机名。

+0

正如我怀疑 - 另一位开发人员的评论让我怀疑自己!非常感谢您的确认。 – chrismou