scrapy

0热度

1回答

我想获得一个内容的列表描述。它是一个JavaScript。他们使用method ='POST'给我这个信息。当我尝试检查HTML中的网站..他们没有关于它的描述..只有一个脚本。当页面加载（onClick）那唯一一次我在html中看到这些描述内容。但不是在scrapy shell中。这是信息，我从该网页我想申请获得： General: Request URL:http://map.

-1热度

1回答

如何从python中的'a'标签中使用scrapy获取文本？

<div class="breadcrumbs pt10 pb10"> <a>Location :</a> "National Harbor , Maryland" <br> <a href="#" class="type">Venue : </a> "Gaylord National Resort & Convention Center " </div>

-1热度

1回答

Scrapy多部分表单数据请求

我想解析来自网站的订单。订单通过ajax加载和请求看起来像： -----------------------------1662842698634843362034232373 Content-Disposition: form-data; name="query" { orders(skip: 30, limit: 30, filter: {less3bids: false,withoutMyB

1热度

1回答

如何从'a'标签的外部获取文本并使用scrapy在python中列出它们？

<div class="breadcrumbs pt10 pb10"> <a>Location :</a> "National Harbor , Maryland" <br> <a href="#" class="type">Venue : </a> "Gaylord National Resort & Convention Center " </div> 如

0热度

1回答

scrapy将参数从一个函数传递到另一个函数

我在parse_page函数中有while循环，我不想在它达到极限之前将它制动。我想从函数parse_page传递3个参数到description，然后转到description_item。它解析函数description_item后，我希望它返回到parse_page函数内的while循环。这是我的代码部分： def parse_page(self, response): ite

-4热度

1回答

从scrapy的网站档案中递归地提取URL

您好我想抓取http://economictimes.indiatimes.com/archive.cms的数据，所有的网址都是基于日期，月份和年份进行存档的，首先获取url列表我使用https://github.com/FraPochetti/StocksProject/blob/master/financeCrawler/financeCrawler/spiders/urlGenerator.

1热度

1回答

无法使用Scrapy启动项目dist-packages/cryptography/hazmat/bindings/_openssl.so

我是在UNIX和Python中安装软件包的新手。我正在使用Windows上的Ubuntu上的Bash。我想开始学习Scrapy，这是我使用安装： apt-get install scrapy 当我试图创建一个项目，我发现了以下错误： root > scrapy startproject tutorial Traceback (most recent call last): Fil

0热度

1回答

我可以在另一个项目中引用Scrapy项目，例如c＃中的多个项目引用？

reference Scrapy In Projects 这是我做的 1，创建一个新的Python项目，创建一个新的.py文件; 2.reference Scrapy-master项目（即使我不知道该怎么做）; 3.write在新的python文件中导入： from scrapy.selector import scrapy.http导入选择器 import HtmlResponse 4. IDE

0热度

1回答

Scrapy Spider一次又一次地返回相同的元素

我已经遇到了一个我放在一起的蜘蛛问题。我试图从this site上的脚本中找到单行，并找到了一些合适的选择器，但是在运行时，蜘蛛的输出只是一遍又一遍的重复。我见过其他类似问题的其他人（like this），但还没有找到解决我的问题的答案。（作为一个说明，我认为这可能是我的基地Python的编码和for环路建设的问题，而不是一个问题与scrapy本身）。这里是蜘蛛： # -*- coding:

0热度

1回答

刮递归使用Scrapy

以下链接访问我使用刮域的所有URL代码： import scrapy from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors.lxmlhtml import LxmlLinkExtractor class UrlsSpider(scrapy.Spider): name = 'urlsspide