减轻爬虫网页负载

在共享主机上，我遇到了高CPU /页面加载时间。 Wincachegrind和萤火虫表明，瓶颈是：减轻爬虫网页负载

- db queries (time) 
- images loading (time) 
- Wordpress plugins/filters (CPU)

我已经安装了WP Supecache，但我已经注意到这个问题已在别处转移：由于该网站有帖子的大量（> 50000）的时间& CPU消耗任务已转移到WP Supercache生成静态文件，在爬虫访问。具有讽刺意味的是，该网站每天（约1,000）用户访问量非常少，同时每天遭受大量爬虫访问（谷歌网站管理员显示MAX：23,669 /平均：11,712/MIN：4069页的统计数据）。

我在考虑帮助抓取页面阶段，避免在抓取页面时加载页面的某些元素/部分。例如，图像和“相关帖子”，而不是“索引过程的”战略“....可以”延迟加载“这些部分有帮助吗？

或？什么步骤，你将采取进一步的假设：

- the users traffic to the site is very small, 
    not justifying stepping to costly dedicated/CDN solutions 
- Efforts have been taken to minimize plugin impact 
- Page design has been improved using CSS sprites, source minifying, 
    using consistent host names, etc, etc pushing page score 
    to higher limits (Yslow, pagespeed)

我相信，下一步将是使用WordPress作为后端，营造一个较低的水平编码前端（PHP + MYSQL）....

评论赞赏

来源

2011-03-09 Riccardo

我已经切换到一个动态页面，其内容用jQuery加载。这减少了页面加载时间到1/3！太棒了！

来源

2011-03-15 15:05:31 Riccardo

减轻爬虫网页负载

回答

相关问题