在heroku上部署scrapy项目

Question

我有一个scrapy蜘蛛项目，它将一些网站剪下来，并把它提交给我。我的蜘蛛产生两个JSON文件，其中存储所有被刮取的数据。

现在，我已经使用这个上面所述的两个JSON文件，以满足用户要求的烧瓶中的Web服务。

我已经在heroku上部署了这个烧瓶web服务，并且工作正常。

我在这里的问题是，我在我的本地机器上运行scrapy蜘蛛日常然后手动更新在Heroku两个JSON文件。

我想这个过程自动化是scrapy项目应日常运行和JSON文件产生都应自动更新。

我发现这里有什么解决办法是，如果scrapy蜘蛛和Web服务部署为单个项目，我想它会工作....但我不知道，如果是可以做到的。

我已经搜索了有关部署scrapy项目的主题，我发现了scrapyd甚至是scrapy-heroku，但我对他们将如何帮助或者我应该如何使用它们来满足我的特定要求毫无头绪。

Answer 1

我以前也曾经遇过类似的情况。

这里是你想做的事：而不是使用Scrapy与刮下数据本地生成JSON文件 - 创建一个Scrapy pipeline和你刮数据存储到数据库中，而不是（Heroku Postgres，或类似的东西）。

然后，当你运行Scrapy，它会刮去你的网站（S），并且将信息存储到Postgres的。

现在，您应该在Heroku上单独部署您的Flask项目。使用Flask-SQLAlchemy通过Heroku Postgres数据库与抓取的数据进行交互，而不是从本地JSON文件读取数据。

这有道理吗？

这通常是处理刮东西的最佳方式 - 默认Scrapy JSON项目管道是伟大的试验，但通常不是你想要什么严重的数据。

希望有帮助！