codeigniter阻止索引系统文件夹和文件夹

Question

系统文件夹，img文件夹，css文件夹和js文件夹包含与网站内容无关的代码。我们是否应该在robots.text中禁止它们？

Answer 1

使用robots.txt文件如果不允许目录意味着：

• 它们的内容将不会被各大搜索引擎收录
  • 如果这些文件有，这不是关系到你的网站内容，和/或应不要在搜索中返回，你可以这样做。
• 但其内容仍然会提供给用户

robots.txt只是一个参考，以爬虫 - 绝对没有办法禁止任何人访问。

Answer 2

首先，它是robots.txt，而不是robots.text。其次，CSS文件和JavaScripts永远不会被编入索引，图像通常不会被直接编入索引，它们在页面中找到时会被索引，系统文件夹甚至不能通过Internet访问。

最后，正如马丁所说，robots.txt文件只是建议搜索引擎，他们不需要遵循它（虽然通常是大的做）。

Answer 3

默认情况下，用户无法访问Codeigniter中的系统文件夹，因此您不必担心。

就像Andrew写道的那样，img，css和js文件夹的内容不会被搜索引擎编入索引，因此您也不必担心。

但是，如果您有任何理由阻止上述搜索引擎文件的内容，您可以做到这一点，而不用担心您的网站的排名和知名度会受到这种影响。

下面是Google给出的一个SEO建议：Seo Fact no. 19。