robots.txt禁止哪些文件夹 - SEO？

Question

我目前正在写我的robots.txt文件，并有一些麻烦，决定我是否应该允许或禁止某些文件夹的搜索引擎优化的目的。

以下是文件夹，我有：

• /CSS /（CSS）
• /JS /（JavaScript的）
• /IMG /（图片我使用的网站）
• /PHP /（PHP将返回一个空白页，例如checkemail.php，检查电子邮件地址或register.php这将数据放入一个SQL数据库和发送电子邮件）
• /错误/（我的错误401,403,404,406,500 HTML页面）
• /包括/（了header.html和footer.html包括我）

我在想只禁止PHP页面，让休息。

您认为如何？

非常感谢

洛朗

Answer 1

/css和/ JS - CSS和Javascript文件可能会被Googlebot你是否拥有他们的robots.txt抓取。 Google使用它们来呈现您的网页以进行网站预览。谷歌已经问好，你不是把它们放在robots.txt中。

/IMG - Googlebot可能当robots.txt文件中的相同的方式，CSS和Javascript检索这个连。将图片放入robots.txt中通常会阻止它们在Google图片搜索中被编入索引。 Google图片搜索可能会成为您网站访问者的来源，因此您可能希望在此处将其编入索引。

/PHP - 听起来像是你不想打蜘蛛执行动作的URL。良好的通话使用的robots.txt

/错误 - 如果您的网站设置正确的蜘蛛可能永远不会知道你的错误页面是由担任哪个目录。他们通常会在出现错误的网址上投放，而蜘蛛从未看到其实际的网址。如果你重定向到他们，情况就不是这样，反正这不是推荐的做法。因此，我会说，没有必要把他们的robots.txt