Scrapy - 如何避免分页黑洞？

Question

我最近正在一个网站蜘蛛工作，并且注意到它请求无限数量的页面，因为一个网站没有编码他们的分页来停止。

因此，尽管他们只有内容几页，它仍然会产生下一个链接和网址...？页= 400，...？页= 401等

内容没不会改变，只是网址。当内容停止更改时，有没有办法让Scrapy停止分页？或者我可以编写自定义的东西。

Answer 1

如果内容没有改变，您可以将当前页面的内容与前一页面进行比较，如果相同，则中断爬网。

例如：

def parse(self, response): 
    product_urls = response.xpath("//a/@href").extract() 
    # check last page 
    if response.meta.get('prev_urls') == product_urls: 
     logging.info('reached the last page at: {}'.format(response.url)) 
     return # reached the last page 
    # crawl products 
    for url in product_urls: 
     yield Request(url, self.parse_product) 
    # create next page url 
    next_page = response.meta.get('page', 0) + 1 
    next_url = re.sub('page=\d+', 'page={}'.format(next_page), response.url) 
    # now for the next page carry some data in meta 
    yield Request(next_url, 
        meta={'prev_urls': product_urls, 
         'page': next_page}