如何使用scrapy-redis管道？

Question

我现在正在使用scrapy-redis，并且我可以使用它，并且我成功地通过使用相同的redis服务器在不同的计算机中进行爬网。 但我不明白如何正确使用scrapy-redis管道。 在我的理解中，我认为我需要另一个脚本而不是蜘蛛来处理redis管道列表中的项目，然后我可以将它们存储到数据库中。 我的理解是否正确，我是否必须编写另一个脚本，这在某种程度上取决于蜘蛛？

Answer 1

管道是不同的脚本，是的。在设置文件中，您可以启用管道。可以使用管道将搜寻结果存储在任何您想要的数据库中。