python在响应之前的urllib2请求

我想在python中编写一个快速的爬虫，但我不想用线程来完成。我看了一篇文章，说Scrapy是单线程的，可以在响应返回之前提出请求。我不知道是否有任何示例代码在使用urllib或urllib2时执行相同的操作，并在响应返回前发出新请求。python在响应之前的urllib2请求

在此先感谢。

Scrapy是开源的，为什么不看一看？也就是说，我很确定它使用了扭曲的线程，因为它使用了大量的线程。 –

是的，我同意Scrapy很棒，它有许多功能，比如请求和响应。我只是想了解如何闯入请求和响应，如5个请求，不等第一个响应返回发出第二个请求。 – user1377324

你已经回答了 - 线程。 –

Scrapy很好，但如果你正在寻找替代品，看看Eventlet。它基于greenthreads（又名协程）。他们甚至有一个简单的网络爬虫的例子 - http://eventlet.net/#web-crawler-example

2012-05-05 21:03:33 spinlok

谢谢你，spinlok，我会看看Eventlet。 – user1377324

回答