Q

通过Python中的代理进行多线程下载

2009-10-20 83 views 0 likes

0

多线程采集/下载多代理支持的最佳库是什么？我看过Tkinter，它看起来很不错，但有很多，有没有人有具体的建议？非常感谢！通过Python中的代理进行多线程下载

2009-10-20 Cookies

+0

对于许多文件或多个文件的多线程？ – Oduvan 2009-10-20 20:38:56

+0

当线程空闲时，许多文件同时下载和添加新文件 – Cookies 2009-10-20 21:09:06

A

回答

1

2009-10-20 20:28:57 anthony

+0

谢谢，我现在正在看一看 – Cookies 2009-10-20 20:39:28

0

这是不是你不能只是传递一个URL给新产生的线程和每一个呼叫urllib2.urlopen做的，或者是有一个更具体的要求？

2009-10-20 20:36:02 Kylotan

+0

urllib2不是我所见过的线程安全的，但我可以只是做错了，因为我是一个线程的noob。我正在下载很多文件，所以我宁愿使用比urllib更强大的东西 – Cookies 2009-10-20 20:40:55

+0

几乎可以肯定是线程安全的，除非您尝试从多个线程访问同一对象这样的固有危险。 – Kylotan 2009-10-20 22:10:59

0

也看看http://scrapy.org/，这是一个建立在扭曲顶部的刮取框架。

2009-10-20 21:24:04 twneale

+0

非常好，我没有看到任何代理支持，但我想我可以自己做。 – Cookies 2009-10-20 21:36:35

+1

不支持HTTP代理目前尚未在Scrapy中实现，但将来还会有。有关这方面的更多信息，请遵循此故障单。设置http_proxy环境变量将不起作用，因为Twisted（Scrapy用于下载页面的库）不支持它。看到这张Twisted门票了解更多信息。 – Cookies 2009-10-20 21:39:02

相关问题