Scrapy引发属性错误

Question

随着我在这里写代码的方式我从不同的网站得到的结果，但由于某种原因，这个网站抛出错误。由于我是scrapy的新编码员，因此我无法自行解决问题。 Xpaths是好的。我附加了我在终端看到的代码一起：

items.py

import scrapy 
class OlxItem(scrapy.Item): 
    Title = scrapy.Field() 
    Url = scrapy.Field() 

olxsp.py

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 

class OlxspSpider(CrawlSpider): 
    name = "olxsp" 
    allowed_domains = ['olx.com.pk'] 
    start_urls = ['https://www.olx.com.pk/'] 

    rules = [Rule(LinkExtractor(restrict_xpaths='//div[@class="lheight16 rel homeIconHeight"]')), 
      Rule(LinkExtractor(restrict_xpaths='//li[@class="fleft tcenter"]'), 
      callback='parse_items', follow=True)] 

    def parse_items(self, response): 
     page=response.xpath('//h3[@class="large lheight20 margintop10"]') 
     for post in page: 
      AA=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/span/text()').extract() 
      CC=post.xpath('.//a[@class="marginright5 link linkWithHash detailsLink"]/@href').extract() 
      yield {'Title':AA,'Url':CC} 

settings.py

BOT_NAME = 'olx' 
SPIDER_MODULES = ['olx.spiders'] 
NEWSPIDER_MODULE = 'olx.spiders' 

ROBOTSTXT_OBEY = True 

图像终端在scrapy完成运行后：

Answer 1

1. 您有ROBOTSTXT_OBEY = True，它告诉scrapy检查它所搜寻域的robots.txt文件，以便确定如何对这些网站进行礼貌。

2. 您允许allowed_domains = ['www.olx.com']中的一个不同于您实际爬网的域名。如果您只想抓取olx.com.pk网站，请将allowed_domains更改为['olx.com.pk']。如果您实际上不知道要抓取哪些网站，请删除allowed_domains属性。