如何开始运行portia蜘蛛？

从https://github.com/scrapinghub/portia#running-a-portia-spider 如何开始运行portia蜘蛛？

portiacrawl PROJECT_PATH SPIDER_NAME

我试图运行

portiacrawl D:/portia-master/slyd/data/projects/darkwoods example 
portiacrawl slyd/data/projects/darkwoods example 
portiacrawl slyd/data/projects/darkwoods

但他们给我同样的帮助信息给定的语法。

Usage: portiacrawl <project dir/project zip> [spider] [options] 

Allow to easily run slybot spiders on console. If spider is not given, print a 
list of available spiders inside the project 

Options: 
    -h, --help   show this help message and exit 
    --settings=SETTINGS Give specific settings module (must be on python path) 
    --logfile=LOGFILE  Specify log file 
    -a NAME=VALUE   Add spider arguments 
    -s NAME=VALUE   Add extra scrapy settings 
    -o FILE, --output=FILE 
         dump scraped items into FILE (use - for stdout) 
    -t FORMAT, --output-format=FORMAT 
         format to use for dumping items with -o (default: 
         jsonlines) 
    -v, --verbose   more verbose

我对portia非常陌生，所以我很在意怎么做。任何人都可以给我一个我应该为PROJECT_PATH写什么的样本？我目前通过无业游民使用portia。

来源

2014-11-02 Kiera Knight

我忘记了哪个问题，但有人在使用命令portiacrawl之前提到cd到目录。在探索了一段时间后，我发现了这个目录及其在/ vagrant/slyd/data/projects。

所以运行portiacrawl，你只需要cd到鲍西娅目录做portiacrawl

portiacrawl /vagrant/slyd/data/projects/[project name] [spider] [options]

之前，我跑了这个命令，它的工作

portiacrawl /vagrant/slyd/data/projects/darkwoods example

来源

2014-11-02 14:56:35

您可以使用scrapyd运行蜘蛛。

curl http://your_scrapyd_host:6800/schedule.json -d project=your_project_name -d spider=your_spider_name

这种方式，您也可以让蜘蛛的基本监控。我还发现了一个快速和简单的网络界面，可以帮助部署spider后部署spider： https://gist.github.com/MihaiCraciun/78f0a53b7a99587d178b

希望它有帮助！

来源

2014-12-22 12:53:24 Mihai

我已经创建了portia-dashboard，您可以在github找到，docker图像也可以在docker hub上获得。借助portia-dashboard，您可以部署项目，启动蜘蛛，或通过在简单的Web界面中单击鼠标来监控作业状态。请参阅doc以获取有关如何启动蜘蛛的详细信息。

来源

2018-01-23 06:02:49 siegfried415

要回答这个问题 - 你能举例说明运行蜘蛛的工作原理吗？ – user7294900 2018-01-23 06:14:37

请参阅https://stackoverflow.com/help/how-to-answer“请在链接附近添加上下文” – user7294900 2018-01-23 06:21:51

请参阅[链接]（https://github.com/siegfried415/portia-dashboard/blob/master /docs/getting-started.rst）。（感谢您的提示，这是我第一次使用stackoverflow）。 – siegfried415 2018-01-23 06:29:46

如何开始运行portia蜘蛛？

回答

相关问题