什么是start_urls的最大尺寸

Question

我只是在用scrapy做一个项目。

我定义我的start_urls如下：

start_urls = [] 
    for i in (1,10): 
      for j in (1,10): 
        start_urls.append(base_url + '/' + str(i) + '/' + str(j)) 

但由于某些原因，scrapy只挑选了4链接抓取，而不是所有100链接。

在这个例子中

我只爬： base_urls/1/1 base_urls/1/10 base_urls/10/1 base_urls/10/10

这是为什么？ scrapy中的start_urls有限制吗？

Answer 1

不是scrapy的问题。
(1, 10) in Python表示具有2个元件1和10的元组。您可能需要使用range(1, 10)。

另外如果你想100个链接，使用range(10)（给人0，1，...，9） 或range(1, 11)（给人1，2，...，10）