robots.txt不允许AMP页面

Question

我有我的网站的页面（作为示例）www.example.com/amp/amp-list.html。

当我验证它在https://search.google.com/search-console/amp，它抛出错误：

Page cannot be reached
This could be because the page is unavailable or blocked by robots.txt
LEARN MORE

我的robots.txt：

# robotstxt.org 

User-agent: * 
Disallow: /auth/google 
Disallow: /auth/facebook 

任何人都可以请建议我帮助，让我的网页？

Answer 1

我认为该网站：www.example.com/amp/amp-list.html需要访问被封锁的网址。
谷歌呈现整个网站包括。所有externe文件，如.js，.css。
因此，Search Console中的错误是Google不会访问您的身份验证目录。
你可以做跟随你的robots.txt：

User-agent: Googlebot 
Allow: /auth/google 
Allow: /auth/facebook 
User-agent: * 
Disallow: /auth/google 
Disallow: /auth/facebook 

记住该规则允许谷歌机器人必须拒绝规则之前。