1
我想禁止SE僵尸中的所有文件和文件夹，除了特殊的文件夹和文件。 我可以在robots.txt文件中使用这些行吗？允许和禁止在robots.txt文件中
User-agent: *
Disallow:/
Allow: /thatfolder
是不是？
A
回答
4
User-agent:*
Allow: /thatfolder
Disallow:/
这应该做。 （只是改变了顺序）
相关问题
- 1. Robots.txt允许子文件夹，但不允许子文件夹
- 2. Robots.txt不允许subdirectoy，但允许在该文件夹
- 3. 使用“禁止：/ *？”在robots.txt文件
- 4. robots.txt只允许root用户，禁止其他所有内容？
- 5. robots.txt文件不允许选项
- 6. robots.txt禁止哪些文件夹 - SEO？
- 7. 禁止“标识在Android中不允许”
- 8. 如何禁止robots.txt中的特定页面，但允许其他所有内容？
- 9. robots.txt不允许属性
- 10. 只允许robots.txt中的一个目录文件？
- 11. 一个robots.txt允许爬行只有活网站其余的应该被禁止
- 12. 的robots.txt和通配符OD禁止
- 13. 如何抓住robots.txt禁止？
- 14. 的robots.txt禁止：蜘蛛
- 15. 将Drupal robots.txt禁止仍记录在Apache日志文件？
- 16. robots.txt的：不允许子目录，但允许目录
- 17. 的Ubuntu/Apache2的/禁止/允许误差
- 18. 禁止robots.txt中的特定网址
- 19. 如何验证，允许和禁止域名通过curl访问php文件
- 20. 防止WNetAddConnection2类允许被禁止的用户访问共享文件夹
- 21. ＆oacute;不允许在xml文件中，但在.net资源文件中允许？
- 22. 允许或禁止在.NET中运行的方法
- 23. Google主工具：如何在robots.txt中允许外部链接
- 24. 带WebView的ViewPager允许刷卡和禁止滚动WebView
- 25. 使用robots.txt禁止或禁止子域名
- 26. Robots.txt，禁止使用多语言URL
- 27. 如何禁止从robots.txt搜索页面
- 28. Robots.txt禁止所有内容并仅允许网站/页面的特定部分。 Ultraseek和FAST等抓取工具是否支持“允许”？
- 29. 允许在Firefox中禁用复选框
- 30. 允许修改但禁止重新分配的软件许可证？