使用python下载大文件到谷歌云存储

Question

我在写一个python GAE程序。我想要做的是使用HTTP协议下载文件并将其写入Google云存储。

但如果我请求文件较大（超过1MB大），

url = urllib2.urlopen(link) 

将无法​​正常工作。

它总是抛出一个ResponseTooLargeError

这篇文章解释了为什么显示这个错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是它并没有解决我的问题，这是下载一个大文件到云存储。

任何人都可以帮助我吗？谢谢！

Answer 1

对URL Fetch的每个响应的限制是32MB。请参阅Python GAE SDK的quotas and limits部分。在App Engine中，您无法从一个大于该大小的请求中复制URL中的任何内容。现在，您可以使用GCS或Blobstore直接从本地文件存储上传更大的GAE到GAE，但不能通过从URL复制它。