5
我需要什么:如何重新启动Scrapy蜘蛛
- 开始履带
- 履带完成任务
- 等待1分钟
- 开始履带再次
我试试这个:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from time import sleep
while True:
process = CrawlerProcess(get_project_settings())
process.crawl('spider_name')
process.start()
sleep(60)
但得到的错误:
twisted.internet.error.ReactorNotRestartable
请帮我做的是正确
的Python 3.6
Scrapy 1.3.2
的Linux
看看http://stackoverflow.com/a/39955 395/2572383 –