1
我试图找出是否域A上设置的robots.txt文件仍然适用于从域B提供的图像,但实际上显示在域A.robots.txt和服务从一个单独的域的图像
例子:
某处的页面上www.example.com
,有一个:
<img src="http://img.example.com/images/myimage.jpg" />`
在www.example.com/robots.txt
,它说:
User-agent: *
Disallow: /images/
因此,当蜘蛛击中www.example.com并看到从img.example.com提供的图像时,它会对它进行索引吗?
正如我怀疑 - 另一位开发人员的评论让我怀疑自己!非常感谢您的确认。 – chrismou