的robot.txt语法不明白

-1

我在robot.txt的第一行收到此错误User-agent: *的robot.txt语法不明白

我的robot.txt如下：

User-agent: * 
Disallow: /Search/ 
Disallow: /_layouts/ 
Disallow: /blog/_layouts/ 
Disallow: /Blog/_layouts/ 
Disallow: /ReusableContent/ 
Disallow: /Reports%20List/ 
Disallow: /WorkflowTasks/ 
Disallow: /SiteCollectionImages/ 
Disallow: /Documents/Forms/ 
Disallow: /Pages/Forms/ 
Disallow: /Internet/

我想通有一个空格/Reports%20List/ 。这是否会造成问题？我不太确定。任何帮助，将不胜感激。

来源

2013-05-21 Preetam

“出现此错误” - 从哪里？它应该是'User-Agent'的大写'A'吗？ – Rup

我公司的SEO人员正在收到此错误。我环顾四周。 'A'不需要成为资本。 – Preetam

所以你不能自己重现这个错误？你应该问他们需要什么来重现它。 – Rup

这里的问题是在UTF-8格式化的robots.txt文件（所谓的BOM（字节顺序掩码））开头的3个不可见字节。此BOM是可选的。是的，您需要格式化UTF-8文件，但Google目前不喜欢预期清晰简单的robots.txt文件中的可选物料清单，并且分析失败。

您可以阅读更详细的解释HERE。

来源

2014-12-13 20:53:08 user3130351

的robot.txt语法不明白

回答

相关问题