如何在Google App Engine中停用Googlebot？

昨天googlebot导致我的应用程序超过读取配额。如何禁用Googlebot？谢谢。如何在Google App Engine中停用Googlebot？

更新

我加

- url: /robots.txt 
    static_dir: robots

我app.yamlas explained here并创建了robots.txt文件的目录 “机器人”，但网址http://www.example.com/robots.txt不起作用。我究竟做错了什么？

来源

2011-11-27 Zeynel

你应该将上述一些赶上机器人路线像''/.*你可能在你'app.yaml'所有航线 – systempuntoout

是的，它高于'/ *' – Zeynel

@systempuntoout：对不起，'http：// localhost：8086/robots/robots.txt'工作。这是怎么回事？ – Zeynel

移到高于/.*捕捉所有路线和修改app.yaml与机器人路线动作会影响您的应用程序的SERP（谷歌将取消索引你的应用迟早）

来源

2011-11-27 01:38:07 systempuntoout

完美，谢谢。 – Zeynel

添加robots.txt file。下面是一个简单的阻断是听你的所有机器人：

- url: /robots.txt 
    static_files: robots/robots.txt 
    upload: robots/robots.txt

记住，这样的：

User-agent: * 
Disallow:/

来源

2011-11-27 00:14:32 icktoofay

好的，谢谢。你知道只要放入应用程序目录就足够了吗？ – Zeynel

@Zeynel：当你访问'http：// www.example.com/robots.txt'时，你需要这样做，你会得到这个文件。（显然，用你的域名取代'www.example.com'）我不记得在App Engine中如何做到这一点，但它应该非常简单。 – icktoofay

@Zeynel：如果您使用的是Python，[请参阅此处]（http://code.google.com/appengine/docs/python/gettingstarted/staticfiles.html）。如果您使用的是Java [请参阅此处]（http://code.google.com/appengine/docs/java/gettingstarted/staticfiles.html）。 Google似乎没有任何有关Go的静态文件的文档。 – icktoofay

如何在Google App Engine中停用Googlebot？

回答

相关问题