1. 首页
  2. 问答
  3. 优化Scrapy xpath查询

优化Scrapy xpath查询

2017-09-03 82 views
1

每次我使用response.xpath时，Scrapy是否会ping网站？或者每个请求是否有一个响应值存储在内存中，并且所有后续的xpath查询都在本地运行？优化Scrapy xpath查询

来源

2017-09-03 James Reade

回答

0

响应存储在内存中。也就是说，每次你调用response.xpath时，它都不会在网页上遇到问题，而是记忆。

来源

2017-09-03 04:22:16

+0

谢谢！我想这意味着将响应分配给本地变量并驱动xpath查询，这不会从服务器的角度或本地内存中真正提高scraper的效率...... –

+0

是的。注意：你可以直接调用'response.xpath'而不用分配给局部变量 –

+0

谢谢Andres！这完全回答了我的问题。 –

相关问题

 相关问题