0
我有一个情况,我们有需要保持完好两个代码库..的robots.txt http://example.com vs.http:// www.example.com
例如:http://example.com
。
和一个新的网站http://www.example.com
。
旧网站(无WWW)支持一些旧代码,并有规则:
User-agent: *
Disallow:/
但在新的版本(与WWW)没有robots.txt
。
Google是否正在寻找旧的(无WWW)robots.txt
文件作为其规则?并将加入
User-agent: *
Allow:/
到(WWW)方覆盖这个?
在旧代码库中更改robots.txt
不是此时的选项。