谷歌爬虫时间限制

Question

没有人知道它有可能设置的任何财产，以告知Googlebot的，只是来和在特定日期或时间段抓取网站（例如，仅在周末期间）？

感谢，

Answer 1

不要这样想，但Googlebot便相当频繁地重新读取您的robots.txt，所以我不知道它是否会，如果你在一个替代的robots.txt在这些时间交换，例如工作用脚本？

Answer 2

您可以建议Googlebots更喜欢较慢的抓取速度（如果您的网站的抓取速度快于最低速率），但这种情况会在90天后生效（请参阅http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620）。

如由谷歌缓存，所以不允许爬行可能导致不被抓取远远长于预期该网站更改的robots.txt可能是有问题的。

谷歌有一个以上的机器人类型，这样你可以有选择性在该网站的部分适合他们每个人的抓取，使用robots.txt因为它的目标。见http://www.google.com/support/webmasters/bin/answer.py?answer=40360。

Answer 3

您可以使用XML sitemap给予有关适当的抓取频率提示，但它只是一个提示，并要求特定的日子是不可能的。