我的ALLOWED_HOSTS设置屏蔽Googlebot吗？

Question

如果我的ALLOWED_HOSTS设置为.mywebsite.com，是否会阻止Google抓取我的网站？机器人不是有一大堆谷歌机器人吗？对不起，我有点不知道这件事..

Answer 1

您应该使用web服务器上的robots.txt文件阻止漫游器访问网站。 http://www.robotstxt.org/robotstxt.html

Google bot未使用“googlebot”主机，而是使用user-agent。如果bot使用“googlebot”作为主机，那么万一网络服务器配置了多个拥有不同主机的网站，它将无法访问您的网站。