Scrapyd：将CSV文件写入远程服务器

我想在EC2上安排爬虫，并将输出导出到csv文件cppages-nov.csv，同时创建jobdir包装我需要暂停爬网，但它没有创建任何文件。我是否使用正确的饲料出口？Scrapyd：将CSV文件写入远程服务器

curl http://awsserver:6800/schedule.json -d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawls/cppages-nov -d FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/cppages-nov.csv -d FEED_FORMAT=csv

来源

2014-09-26 Jason Youk

curl http://amazonaws.com:6800/schedule.json -d project=wallspider -d spider=cppages -d setting=FEED_URI=/home/ubuntu/scrapy/sitemapcrawl/results/cppages.csv -d setting=FEED_FORMAT=csv -d setting=JOBDIR=/home/ubuntu/scrapy/sitemapcrawl/crawl/cppages-nov

来源

2014-10-02 16:48:47

使用这种饲料在你的设置文件

FEED_EXPORTERS = { 
'csv': 'scrapy.contrib.exporter.CsvItemExporter', 
} 
FEED_FORMAT = 'csv'

来源

2014-09-30 06:02:46

Scrapyd：将CSV文件写入远程服务器

回答

相关问题