1
看起来像没有合法的方式来暂停/继续爬行Scrapyd,就像Scrapy本身一样(scrapy爬行蜘蛛-s JOBDIR = jobdir/spider-1)。 我发现的唯一的解决办法是在这里:Scrapyd暂停/继续工作
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
,但我一直搞不明白的想法。
那么可以暂停/继续Scrapyd的工作吗?
感谢您的时间
对不起,我不明白在哪里写这个选项。如果我运行爬虫:(curl http:// localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider)我应该在哪里粘贴你的代码? – Pachvarsh
在这种情况下,你可以这样拨打电话:'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1' – AndMar
不幸的是,不管工作。当我恢复这样的工作:'curl localhost:6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1 jobid = 3123asds5f34141asdfesw324'新的解析从头开始,只有一个日志是相同的 – Pachvarsh