网络爬虫产生输出缓存

Question

我实现：

<%@ OutputCache Duration="43200" VaryByParam="none" location="Server" VaryByCustom="RawURL" %> 

我已经得到了所有URL（约12000）可能在我的网站sitemap.xml的。

我会知道是否明智地创建一个应用程序，将解析我的网站地图 为了请求所有url？

目标是缓存我所有的网站以提高速度。

我精确我的问题：

每个页面大约需要10秒创建和缓存持续时间和缓存持续时间为12小时

Answer 1

如果时间动态地创建任何一个单独的页面比较快，那么通过这样做你可能不会获得太多收益。

也许你最好只是在适度的时间限制（5-15分钟）内将输出缓存保留下来，以避免使用大量的内存，并且保持页面新鲜（除非你有一个很好的方法来使输出到期每次更新页面时缓存）。如果一个页面的流行度足以被频繁访问，那么当一个人转到该页面时，它很可能会被缓存。