指示搜索引擎机器人等

Question

短篇小说：
我的网站预先生成基于用户页面submited数据，有时这种缓存有发生这种情况时它会杀死一个super computer除非我controled统计的量的量被清除立即生成。

问题：
现在到了搜索引擎机器人击中部位不断（由于页面，搜索引擎机器人抓取其漂亮的常数的绝对量）。这里的问题是，他们会用尽我所有的“生成”插槽，真正的用户将留下一个页面，上面写着“bla bla，please wait”。

更多钞票的解决方案：
我可以basicly返回503到机器人，而无需他们给了我否定的排名对于具有不稳定的网站？
还是有人想出了一些其他解决方案？

Answer 1

缓存被立即清除的重要性如何？如果您的缓存支持它，则可以将所有缓存的页面标记为“脏”，并在真实用户下次访问时重新生成它们;如果一个机器人在此期间访问，则为他们提供陈旧的页面。