存储Scrapy数据thro Scrapy

Question

如何将整个抓取的数据存储在文件中？例如：抓取的数据为[u\ 7564.2021]，但json文件中存储的数据仅为[

它出错的地方在哪里？

Answer 1

我发现这个线程，因为我使用scrapy命令行导出选项（看到这个scrapy 0.15.1概述：http://readthedocs.org/docs/scrapy/en/latest/intro/overview.html?highlight=Rule#run-the-spider-to-extract-the-data）有这个确切的问题，“scrapy爬行mininova.org -o scraped_data.json -t JSON”。

您必须首先确保数据实际上是从网站上被刮掉的（我通过将我的被刮取的物品直接打印到控制台窗口）。

同时确保你的蜘蛛的解析方法实际上返回被抓取的物品。这是我犯的愚蠢的错误。

没有更多的信息或你的代码很难说更多。我自己是Python和scrapy的新手，并且正在处理有时令人困惑的文档和示例。希望过去几个月你还没有放弃这个项目;否则我发布未来的谷歌。