如何在python scrapy中为不同的start_urls应用不同的规则？

Question

我

start_urls = `[a.com,b.com,c.com,....]` 

我想申请规则1的a.com像链接提取，允许，拒绝和b.com一些不同势规则和c.com我不想要应用的规则，只是简单抓取给定的URL。

我怎样才能做到这一点？

在此先感谢..

Answer 1

你想覆盖start_requests方法和使用自定义方法与链接提取：

def start_requests(self): 
    yield Request('http://a.com', self.parse_a) 
    yield Request('http://b.com', self.parse_b) 
    yield Request('http://c.com', self.parse_data) 

def parse_a(self, response): 
    links = LinkExtractor(
     # ... extract links from http://a.com 
    ).extract_links(response) 
    return (Request(url=link.url, callback=self.parse_data) for link in links) 

def parse_b(self, response): 
    links = LinkExtractor(
     # ... extract links from http://b.com 
    ).extract_links(response) 
    return (Request(url=link.url, callback=self.parse_data) for link in links)