scrapy

0热度

1回答

我在尝试登录到以下网站：http://go.galegroup.com.proxy-um.researchport.umd.edu/ps/eToc.do?docId=0PQC&userGroupName=umd_um&action=DO_BROWSE_ETOC&inPS=true&prodId=GVRL&etocId=GALE%7CCX2830999001&isDownLoadOptionDisa

0热度

2回答

在插入成千上万的记录时防止MySql中的连接太多

我遇到了MySQL问题，因为在插入数万条记录时，我经常会遇到“数据库有太多连接错误”。我正在使用Python和Scrapy来抓取网页并将信息插入到MySQL中。下面是代码： import MySQLdb # connect to the MySQL server self.CONN = MySQLdb.connect(host=SQL_HOST, user=SQL_USER,

0热度

1回答

如何从javascipt scrapy动态变量而不呈现它？

我使用Python来scrapy网页http://www.nowgoal.id/nba.htm，但是我需要的关于游戏的数据由脚本http://www.nowgoal.id/data/nba.js填充。然后，我转到js网站，发现数据存储在名为'matchdata'的动态变量中。在chrome DevTools的concole中运行'matchdata'，我们可以看到变量'matchdata'是一个

0热度

1回答

scrapyd运行的后台程序无法找到蜘蛛或项目

蜘蛛的名字是quotes14，它的命令行即工作得很好，如果我跑scrapy爬quotes14 从目录在/ var/www/html等/ sprojects /教程/ 它可以在命令行精细我已经scrapyd运行的守护个我scrapy蜘蛛文件都存在这里在/ var/www/html等/ sprojects /教程/教程/蜘蛛我上面的目录和项目在许多蜘蛛和其他文件在/ var/www/

0热度

1回答

如何将值附加到全局数组从不同的解析方法中提取值？

import requests import win32api import scrapy from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from scrapy.http import Request from array import * import itert

0热度

1回答

我已经成功安装了scrapy，为什么找不到命令？使用以下命令

qiao-lideMacBook-Pro:~ qiao-li$ pip3 freeze ...... **Scrapy==1.4.0** ...... qiao-lideMacBook-Pro:~ qiao-li$ scrapy version **-bash: scrapy: command not found**

1热度

1回答

在Ubuntu 14.04安装scrapy失败，并在密码设置命令无效环境标志错误

我试图在另一台服务器上安装scrapy当我运行PIP安装scrapy error in cryptography setup command: Invalid environment marker: python_version < '3' Complete output from command python setup.py egg_info: error in cryptography

1热度

1回答

蟒蛇scrapy - 从刮的onclick弹出对话框

我试图使用scrapy和python 我得到了蜘蛛刮所有的视频网址的所有网页凑所有的链接，视频和英文成绩单从this site（NB我在编程中毫无用处），但我无法弄清楚如何刮擦成绩单。单击按钮后，会弹出对话框对话框。在这个新的弹出窗口中可找到成绩单的链接。我读过的所有其他教程都提供了POST请求，但它看起来像是一个ajax GET请求。（所以我完全无能为力）。我也看到，提有效载荷和控制形式的职位

0热度

1回答

无法使用scrapy

我是新手到Python和scrapy 这里是我的代码，把所有的产品名称，价格，图片，标题从所有的下一个页面，生成下一个页面CSV import scrapy class TestSpider(scrapy.Spider): name = "testdoc1" start_urls = ["https://www.amazon.in/s/ref=amb_link_46?ie=UTF8&b

0热度

2回答

Scrapy：试图迭代嵌套的项目，但不产生所需的输出

我对Python和Scrapy非常陌生，但是当我尝试迭代嵌套的html元素时，它不会产生所需的结果。下面是HTML，我试图报废。 <div class="level1" role="main"> <div class="level2"> <h1 id="fullStoreHeading" class="class_h1">Page Title</h1> <div class