Django应用程序中robots.txt的推荐指令是什么？

Question

目前我的django项目有以下结构。

./ 
../ 
app1/ 
app2/ 
django_project 
manage.py 
media 
static 
secret_stuff 

和我robots.txt看起来是这样的：

User-agent: * 
Allow:/
Sitemap: mysite.com/sitemaps.xml 

我想知道以下事情：

1. 有哪些建议指示我应该添加到我的robots.txt 文件，因为django文档没有提到这个话题。

2. 如何阻止机器人到达（索引）内容 secret_stuff和mysite.com/admin/目录？

   Disallow: /secret_stuff  (Is that okay ?) 
       Disallow: /admin   (Is that okay ?) 
   

Answer 1

机器人的指令是不相关的Django框架，这就是为什么你不会找到它在Django文档的任何信息。通常，由您决定允许什么以及不允许在您的网站上进行搜索。

将robots.txt包含到Django项目中有不同的方法。我亲自使用django-robots应用程序，它可以简化您可以将robots.txt嵌入到您的项目中的方式。

没有必要在每个项目中使用它。如果你发现它更简单，你可以自己渲染txt文件。

我简化了Django项目的robots.txt的样子：

User-agent: * 
Disallow: /*.pdf 
Disallow: /*.ppt 
Disallow: /*.doc 
Disallow: /*.xls 
Disallow: /*.txt 

User-agent: Yandex 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

User-agent: Googlebot 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

Host: https://mysite.ru 
Sitemap: https://mysite.ru/sitemap.xml