100,000 HTTP响应代码检查

Question

我有一个约100,000个链接的列表，我想检查HTTP响应代码。什么可能是最好的方法来进行检查编程？

我使用下面的Python代码考虑：

import requests 
try: 
    for x in range(0, 100000): 
    r = requests.head(''.join(["http://stackoverflow.com/", str(x)])) 
    # They'll actually be read from a file, and aren't sequential 
    print r.status_code 
except requests.ConnectionError: 
    print "failed to connect" 

..但我不知道在一个单一的取检查等一大批网址的潜在副作用。思考？

Answer 1

我能想到的唯一副作用是时间，您可以通过并行请求来减轻时间。 （使用http://gevent.org/或https://docs.python.org/2/library/thread.html）。