在Scrapy项目中使用多个蜘蛛

Question

我想知道是否有可能在同一个项目中一起使用多个蜘蛛。其实我需要2只蜘蛛。第一个收集第二个蜘蛛应该刮的链接。他们都在同一个网站上工作，所以域名是相似的。这可能吗？如果是，你能给我一个例子吗？ 感谢

Answer 1

也许这就是你要找的内容：此帮助

def parse(self, response): 
    # parse the links (aka your first spider) 
    for link in hxs('//XPATH'): 
     yield Request(link.extract(), callback=self.parse_link) 

def parse_link(self, response): 
    # continue parsing (aka your second spider) 

希望你:)