portia

0热度

1回答

遵循github页面上的说明。当然，自从我使用Windows 7系统以来，必须做出微小的改变。我开始创建portia运行的虚拟环境。我正在尝试使用pip安装所需的软件包。 pip install -r requirements.txt 它失败了一个log。现在在shell中我尝试运行twistd，它给出错误，说没有找到命令。我甚至试过如下： [email protected] /c/Port

2热度

1回答

附表scrapyd蜘蛛和蜘蛛通过配置选项

我试图与配置创建的SlyD使用scrapy-elasticsearch蜘蛛，所以我送-d parameter=value进行配置： curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider -d setting=CLOSESPIDER_ITEMCOUNT=100 -d settings=ITEM

1热度

3回答

如何开始运行portia蜘蛛？

从https://github.com/scrapinghub/portia#running-a-portia-spider portiacrawl PROJECT_PATH SPIDER_NAME 我试图运行 portiacrawl D:/portia-master/slyd/data/projects/darkwoods example portiacrawl slyd/data/pro

0热度

1回答

如何解决错误安装鲍西娅

在Ubuntu上安装鲍西娅时16.04 Failed building wheel for cryptography Running setup.py clean for cryptography Successfully built mysql-connector-python Failed to build cryptography Installing collected p

0热度

1回答

我如何从一个页面提取多个项目机智Portia/Scrapy Spider

我有一个网站我想要抓取。它包含我希望在每个页面上提取的多个项目。它与在线黄页非常相似。它包含每个项目的标题，电话号码和类别......由于这显然不足以将整个页面本身收录到其中，所以这些项目都在列表中。一些页面包含3个项目，其他页面包含10个左右。 - 编辑1- 我已经成功地刮了许多网站，但他们都可以到一个只包含一个项目的页面。这在这里是不可能的，并且由于需要不同的模板，它将多个项目作为一个项目返