我能够从脚本运行scrapy蜘蛛。但我想以json格式将输出存储在特定的文件(比如output.json)中。我做了大量的研究&也尝试从设置覆盖FEED_URI & FEED_FORMAT。我也尝试使用JsonItemExporter函数,但都是徒劳的。任何帮助将不胜感激。谢谢!运行scrapy spider后设置/配置输出文件
1
A
回答
2
我认为你应该使用scrapy爬行yourspider -o output.json -t JSON
其中-o输出文件名和-t输出格式。
0
使用以下任一命令
scrapy crawl yourspidername --set FEED_URI=output.json --set FEED_FORMAT=json
scrapy crawl yourspidername -o output.json -t json
+0
任何想法如何设置它(文件名+位置)? – JinSnow
相关问题
- 1. 通过脚本运行Scrapy蜘蛛并配置输出文件的设置
- 2. Eclipse:在运行配置后重命名输出文件
- 3. IntelliJ - 设置运行配置(出错)
- 4. 无法配置运行设置插件“VSTest运行配置”的设置,因为它抛出以下异常:
- 5. Scrapy:如何从设置文件设置scrapy start_urls?
- 6. 配置文件设置 - 需要输入
- 7. Python收益阻止Scrapy Web Spider Crawler的输出/执行
- 8. logstash文本文件输出配置
- 9. Scrapy Spider Crawl 0页
- 10. WPF:在运行时更改配置文件的用户设置?
- 11. Eclipse:为HTML/Javascript文件设置运行配置
- 12. 运行记录的WLST Python文件以设置WebLogic域配置
- 13. 在运行时从外部配置文件重新加载配置设置
- 14. pycharm scrapy配置
- 15. Android设置|(文件)配置
- 16. Eclipse:导出运行配置
- 17. 设置Ruby运行时配置参数?
- 18. logstash文件输入配置
- 19. 设置XslCompiledTransform输出设置
- 20. Scrapy:设置条件settings.py
- 21. 了解Python配置文件输出
- 22. 解释node.js配置文件输出?
- 23. 配置文件的Webpack输出路径
- 24. 设置配给配置文件到期
- 25. 设置asp.net5项目输出文件夹
- 26. Scrapy输出JSON文件
- 27. 如何在运行Angular i18n时设置messages.xlf输出位置?
- 28. 为mysqldump输出设置文件权限
- 29. Visual Studio:将项目输出作为后置事件运行
- 30. 在MATLAB ode45输出设置条件(运行时)
你是如何运行的蜘蛛?请分享您的代码 –