1
甚至禁止索引整个网站？如何禁止搜索引擎通过robot.txt对子目录/ CRM进行索引？
A
回答
1
创建robots.txt文件，并添加适当的Disallow指令，如：
User-agent: *
Disallow: /CRM
相关问题
- 1. 搜索引擎的robot.txt
- 2. 阻止搜索引擎索引网页
- 3. 搜索引擎在Django项目中进行全文搜索
- 4. 改进搜索引擎
- 5. 搜索引擎的终止索引过程
- 6. 搜索引擎优化 - 目录索引重复内容
- 7. 如何通过自引用子主题进行递归搜索？
- 8. 如何有被搜索引擎收录
- 9. EJB - 如何通过非索引字段进行搜索？
- 10. 如何应用索引进行搜索
- 11. 这个robot.txt代码会拒绝每个搜索引擎吗？
- 12. Filshts搜索引擎
- 13. ASP.NET搜索引擎
- 14. Mysql搜索引擎
- 15. php搜索引擎
- 16. SQL搜索引擎
- 17. php搜索引擎
- 18. Django：搜索引擎
- 19. 搜索引擎索引JSON结果吗？
- 20. 搜索引擎索引Flash网站？
- 21. 搜索引擎中的倒排索引
- 22. Typo3搜索索引引擎Html表格
- 23. 带搜索引擎的PHP搜索引擎
- 24. 停止部分页面被搜索引擎索引？
- 25. 阻止某些html元素被搜索引擎索引
- 26. 2sxc：如何禁用搜索索引
- 27. 如何构建搜索引擎优化的图像目录？
- 28. 建筑搜索引擎产品搜索
- 29. 搜索引擎优化：灯箱图片对于搜索引擎不可见
- 30. 如何在noe4j子图上进行基于索引的搜索？
怎么写'Disallow' S' – user198729 2010-05-17 14:46:52
@ user198729：我已经更新了我的答案。 – 2010-05-17 14:47:45
所以我可以使用'不允许：/'来禁止索引整个网站，对吧？ – user198729 2010-05-17 14:49:39