谷歌网站管理员工具声称我的robots.txt封锁了我的所有网站

Question

我提交了一个包含成千上万个网址的网站地图，但是当我查看网站站长工具时，它声称我的网址9800被我的机器人阻止。 txt文件。

我该怎么做才能说服它没有任何东西被阻挡？

Answer 1

有时这只是意味着robots.txt文件无法达成（传回5xx服务器错误;否则，Googlebot只是没有得到回应）。在这些情况下，Google会将他们尝试抓取的所有网址视为robots.txt禁止的网址。您可以在网站管理员工具的抓取错误部分中看到（位于站点错误顶部）。