如何设置Scrapy并逐一抓取？

Question

如何设置Scrapy并使其爬逐一首先，看看下面我的代码：？

def parse(self, response): 
     movies = Movie.query.filter(Movie.rating_num>6).all() 
     for m in movies: 
      url = "http://movie.douban.com/subject/"+str(m.id)+"/comments?sort=time&status=P" 
      yield Request(url, self.parse_comment) 

，当我跑这个蜘蛛，它在同moment.In crawed多个网址事实上，我通过这种方式获得防御的网站。所以我想知道是否有一个设置scrapy来逐个抓取网页？

Answer 1

您可以在设置中将CONCURRENT_REQUEST和CONCURRENT_REQUESTS_PER_DOMAIN都设置为1。