如何知道urllib.urlretrieve是否成功？

urllib.urlretrieve即使该文件在远程http服务器上不存在，也会以无提示方式返回，它只是将html页面保存到指定文件中。例如：如何知道urllib.urlretrieve是否成功？

urllib.urlretrieve('http://google.com/abc.jpg', 'abc.jpg')

只是默默返回，即使abc.jpg的不google.com服务器上，所产生的abc.jpg不是有效的JPG文件，它实际上是一个HTML页面。我猜测返回的头文件（一个httplib.HTTPMessage实例）可以用来实际判断检索成功与否，但我找不到httplib.HTTPMessage的任何文档。

任何人都可以提供有关此问题的一些信息？

来源

2009-06-12 btw0

如果可能的话，考虑使用urllib2。它比urllib更先进和易于使用。

您可以轻松地检测到任何HTTP错误：

>>> import urllib2 
>>> resp = urllib2.urlopen("http://google.com/abc.jpg") 
Traceback (most recent call last): 
<<MANY LINES SKIPPED>> 
urllib2.HTTPError: HTTP Error 404: Not Found

resp实际上是HTTPResponse对象，你可以做很多有用的事情：

>>> resp = urllib2.urlopen("http://google.com/") 
>>> resp.code 
200 
>>> resp.headers["content-type"] 
'text/html; charset=windows-1251' 
>>> resp.read() 
"<<ACTUAL HTML>>"

来源

2009-06-12 18:46:04

urllib2可以提供urlretrieve的缓存行为吗？或者我们不得不重新实现它？ – Kiv 2009-06-12 22:45:52

从ActiveState看这个awersome recipie：http://code.activestate.com/recipes/491261/ 我们在我们当前的项目中使用它，完美地工作 – 2009-06-18 05:50:48

urlopen不提供钩子函数（显示进度条例如）像urlretrieve。 – 2009-08-20 20:05:29

根据该文件是为undocumented

获得访问邮件，它看起来像你这样做：

a, b=urllib.urlretrieve('http://google.com/abc.jpg', r'c:\abc.jpg')

b为消息实例

既然我已经了解到， Python使用Python的内省功能总是有用的当我输入

dir(b)

我看到很多的方法或功能与

然后打我开始用b做事

例如

b.items()

列出很多有趣的事情，我怀疑与玩弄这些东西可以让你获得你想操纵的属性。

对不起，这是一个初学者的答案，但我正在努力掌握如何使用自省能力来提高我的学习和你刚才弹出的问题。

那么我想一些有趣的与此相关的，我在想，如果我可以自动从每个东西在目录中露面的输出，所以我写了并不需要的参数：

needparam=[] 
for each in dir(b): 
    x='b.'+each+'()' 
    try: 
     eval(x) 
     print x 
    except: 
     needparam.append(x)

来源

2009-06-12 17:21:43 PyNEwbie

对我来说没有身份，你的代码只能工作一次。尝试`在b中输入k：print'％s：％r“％（k，b [k]）` – 2012-03-16 16:35:10

我结束了我自己的retrieve实施，在pycurl的帮助下，它支持比urllib/urllib2更多的协议，希望它可以帮助其他人。

import tempfile 
import pycurl 
import os 

def get_filename_parts_from_url(url): 
    fullname = url.split('/')[-1].split('#')[0].split('?')[0] 
    t = list(os.path.splitext(fullname)) 
    if t[1]: 
     t[1] = t[1][1:] 
    return t 

def retrieve(url, filename=None): 
    if not filename: 
     garbage, suffix = get_filename_parts_from_url(url) 
     f = tempfile.NamedTemporaryFile(suffix = '.' + suffix, delete=False) 
     filename = f.name 
    else: 
     f = open(filename, 'wb') 
    c = pycurl.Curl() 
    c.setopt(pycurl.URL, str(url)) 
    c.setopt(pycurl.WRITEFUNCTION, f.write) 
    try: 
     c.perform() 
    except: 
     filename = None 
    finally: 
     c.close() 
     f.close() 
    return filename

来源

2009-06-13 09:18:53 btw0

您可以创建一个新的URLopener（从FancyURLopener继承），并抛出异常或错误处理任何你想要的方式。不幸的是，FancyURLopener忽略404和其他错误。看到这个问题：

How to catch 404 error in urllib.urlretrieve

来源

2010-01-02 22:36:30

我把它简单：

# Simple downloading with progress indicator, by Cees Timmerman, 16mar12. 

import urllib2 

remote = r"http://some.big.file" 
local = r"c:\downloads\bigfile.dat" 

u = urllib2.urlopen(remote) 
h = u.info() 
totalSize = int(h["Content-Length"]) 

print "Downloading %s bytes..." % totalSize, 
fp = open(local, 'wb') 

blockSize = 8192 #100000 # urllib.urlretrieve uses 8192 
count = 0 
while True: 
    chunk = u.read(blockSize) 
    if not chunk: break 
    fp.write(chunk) 
    count += 1 
    if totalSize > 0: 
     percent = int(count * blockSize * 100/totalSize) 
     if percent > 100: percent = 100 
     print "%2d%%" % percent, 
     if percent < 100: 
      print "\b\b\b\b\b", # Erase "NN% " 
     else: 
      print "Done." 

fp.flush() 
fp.close() 
if not totalSize: 
    print

来源

2012-03-16 16:02:06

class MyURLopener(urllib.FancyURLopener): 
    http_error_default = urllib.URLopener.http_error_default 

url = "http://page404.com" 
filename = "download.txt" 
def reporthook(blockcount, blocksize, totalsize): 
    pass 
    ... 

try: 
    (f,headers)=MyURLopener().retrieve(url, filename, reporthook) 
except Exception, e: 
    print e

来源

2016-03-03 08:53:22 gzliuqingyun

:)我在计算器上的第一篇文章，是一个潜伏者多年。 :)

可悲的是目录（urllib.urlretrieve）缺乏有用的信息。所以从这个线程迄今我试着写这样的：

a,b = urllib.urlretrieve(imgURL, saveTo) 
print "A:", a 
print "B:", b

它生产的：

A: /home/myuser/targetfile.gif 
B: Accept-Ranges: bytes 
Access-Control-Allow-Origin: * 
Cache-Control: max-age=604800 
Content-Type: image/gif 
Date: Mon, 07 Mar 2016 23:37:34 GMT 
Etag: "4e1a5d9cc0857184df682518b9b0da33" 
Last-Modified: Sun, 06 Mar 2016 21:16:48 GMT 
Server: ECS (hnd/057A) 
Timing-Allow-Origin: * 
X-Cache: HIT 
Content-Length: 27027 
Connection: close

我想一个可检查：

if b.Content-Length > 0:

我的下一步是测试方案检索失败...

来源

2016-03-07 23:44:29 fotonix

针对另一个服务器/网站的结果 - 什么回来在“B”是有点随机的，但一个可以测试的某些值：

A: get_good.jpg 
B: Date: Tue, 08 Mar 2016 00:44:19 GMT 
Server: Apache 
Last-Modified: Sat, 02 Jan 2016 09:17:21 GMT 
ETag: "524cf9-18afe-528565aef9ef0" 
Accept-Ranges: bytes 
Content-Length: 101118 
Connection: close 
Content-Type: image/jpeg 

A: get_bad.jpg 
B: Date: Tue, 08 Mar 2016 00:44:20 GMT 
Server: Apache 
Content-Length: 1363 
X-Frame-Options: deny 
Connection: close 
Content-Type: text/html

在“坏”的情况下（不存在的图像文件）的“B”中检索的（Googlebot的一小块？）HTML代码并将其保存为目标，因此Content-Length为1363字节。

来源

2016-03-08 00:53:37 fotonix

如何知道urllib.urlretrieve是否成功？

回答

相关问题