Scrapy - 如何在S3和本地文件系统中保存json文件 - 同时

Question

我已经将我的设置设置为将json保存在S3存储桶中。但如果可能的话，我还想保存在本地机器中。

我试过下面的配置，但Scrapy只保存在本地机器上。

FEED_URI = 's3://bucket/scraped/file.jl' 
FEED_URI = 'file:///tmp/file.jl' 

我不很了解由Scrapy文档here

Answer 1

Scrapy的饲料出口扩展不支持的时候发送项目两个地方解释的设置。

FEED_URI在你的设置中只是一个Python变量，所以它只保存在本地机器中的原因是因为它被第二次覆盖。

您可以通过使用FEED_URI将项目发送到S3并编写一个管道保存您的项目在本地来解决此问题。