Scrapy重新启动爬虫当爬行完成

Question

当我的Scrapy爬虫完成后，我想再次自动启动相同的爬虫。 这可以通过Scrapy函数来完成，还是必须使用Cronjob例如crontab的？

Answer 1

只是一个正常的Scrapy运行不能做到这一点，除非你禁用愚蠢过滤器和下载一个页面重新请求同一页面。这是一个hacky解决方案，但从技术上说它会工作。

在循环中运行的Cronjob或Bash脚本可以做到这一点。