如何使用scrapy抓取项目来使用所有的cpus？

cat /proc/cpuinfo |grep cores 
cpu cores : 2

1.如何知道scrapy crawl project使用哪个cpu？
2.如何使用scrapy crawl project所有的cpus？

Scrapy将始终使用1个核心进行爬网过程。像这样的抓取是网络I/O密集型过程，并且不需要太多CPU功率。有可能使用多次处理的scrapy，但不是没有一些努力。

请检查得到的回答对SO

类似的问题

2017-09-02 06:31:23

回答