Scrapy在抓取下一个URL之前完成重定向

每当Scrapy获取302时，该操作都会添加为队列中的最后一个项目。有没有办法强制Scrapy完成重定向，然后处理下一个url？Scrapy在抓取下一个URL之前完成重定向

2017-08-01 Mark

你可以试着加大['REDIRECT_PRIORITY_ADJUST']（https://doc.scrapy.org/en/latest/ topics/settings.html＃redirect-priority-adjust）值来查看是否有帮助？ –

正如Tomáš在评论REDIRECT_PRIORITY_ADJUST中所述，控制重定向优先级。

但是，由于此设置默认设置为+2，所以您不能使用默认scrapy设置描述。默认情况下，所有scrapy请求的排定时间为0，因此所有重定向的请求应优先于其他请求。

您可以使用priority参数安排个别请求优先级。
例如，如果你想在100设置优先级，你会这样写：

yield Request("http://someurl.com", priority=100)

2017-08-01 13:02:32 Granitosaurus

回答