robots.txt文件可能无效

这是我的robots.txt。我想只允许基址domain.com进行索引，并且不允许所有子网址，如domain.com/foo和domain.com/bar.html。robots.txt文件可能无效

User-agent: * 
Disallow: /*/

因为我不确定这是否是有效的语法，所以我使用Google网站管理员工具对其进行了测试。它向我显示了这条消息。

robots.txt file is probably invalid.

我的文件是否有效？有没有更好的方式只允许基础网址索引？

更新：谷歌下载我robots.txt 3小时前。我认为这就是为什么它不起作用。我会等一段时间，如果问题仍然存在，我会再次更新我的问题。

来源

2012-04-26 danijar

我这样说的：http://stackoverflow.com/questions/5206602/robots-txt-how-to-allow-access-only-to-domain-root-and-no-deeper但不明白的答案。 – danijar 2012-04-26 19:55:12

下面是另一个类似的问题，可能有所帮助：http://stackoverflow.com/q/43427/669611 – magzalez 2012-04-26 20:40:56

这里是一个验证器的链接。它可以帮助你解决文件中的任何错误。

Robots.txt Checker

我查了另一种验证，robots.txt Checker，这就是我得到的第二行：

通配符（如“*”）在这里没有允许的线下必须是一个允许，禁止，注释或空白行语句

这可能是你在找什么：

User-Agent: * 
Allow: /index.html 
Disallow:/

这里假设你的主页是index.html的。

如果index.php是您的首页，您应该可以将index.html换成index.php。

User-Agent: * 
Allow: /index.php 
Disallow:/

在我的动态网站，通过index.php文件运行时，会mydomain.com/index.php还带我到首页，所以上面应该工作。

来源

2012-04-26 20:16:38 magzalez

index.html不是我的主页，因为所有请求都会导致index.php管理内容和布局。所以我只需要允许基本域。 – danijar 2012-04-26 20:46:20

是否会去yourdomain.com/index.php带你到首页？ – magzalez 2012-04-26 20:52:20

是的，因为通过.htaccess重定向到yourdomain.com – danijar 2012-04-26 21:02:40

robots.txt文件可能无效

回答

相关问题