AWS CLI是否将大于4GB的文件上传到Amazon Glacier？

的AWS命令行界面（CLI）允许to upload a file to AWS Glacier。但是AWS Rest API中还有一个limit of 4GB for file uploads。如果我需要通过Rest API上传大于4GB的文件，我需要使用多部分上传。AWS CLI是否将大于4GB的文件上传到Amazon Glacier？

我的问题是：在AWS CLI内部处理文件大于4GB上传更大，或者我需要处理自己的多载处理大于4GB的文件时？我可以将一个20Gb文件传递给AWS CLI的upload-archive选项，它可以正常工作吗？如果CLI无法直接处理大文件上传，有任何命令行工具，它会为我（从实现所有的校验和计算，错误处理的麻烦释放我，当部分上传失败重试逻辑）？

据我所知，4GB的限制是对AWS REST API，但我无法找到有关此限制的是如何在CLI处理任何事情。我可以进行测试，但是我的上传速度并不快，我担心会浪费几个小时才会发现它不起作用。

来源

2017-08-13 lgfischer

从EBS和S3之间的练习中，CLI需要明确处理多部分上传 - 但这并不困难 – mpez0

根据您链接的cli文档，您仍然需要自己完成树哈希计算。除非您特别需要冰川专用功能（例如保险库锁定），否则您的兴趣可能通过上传到S3并使用生命周期策略迁移到S3 Glacier存储类来实现。它比直接使用冰川更容易使用，而且存储成本基本相同（使用S3时每个物体的开销为+ 40KiB）。 –

根据[S3定价页]（https://aws.amazon.com/s3/pricing/?nc1=f_ls），在S3中存储对象是存储关于冰川，这使得存储对象上S3不是5.75倍的价格我的选择。 – lgfischer

我使用的是冰川-CMD（https://github.com/uskudnik/amazon-glacier-cmd-interface），效果很好，但似乎是不支持最近。有时它会对大文件（〜50GB）造成超时。

来源

2017-09-18 11:47:15 Vitaly

感谢您分享此工具。 “大文件超时”是否意味着无法上传大文件？或者它需要很长时间才能上传？ – lgfischer

我查看了我的日志和冰川清单 - 根据它们，超时错误不会影响上传。看来最近版本的glacier-cmd知道在这种情况下会重试。但是，高达20％的大文件（50G）文件上传失败，但有一些例外。类似于这里讨论的https://github.com/uskudnik/amazon-glacier-cmd-interface/issues/188。 Botton line - AFAIK，glacier-cmd是AWS Glacier CLI中唯一的高级包装，它大部分工作正常。您可以通过一些简单的脚本来组织重试。 – Vitaly

AWS CLI是否将大于4GB的文件上传到Amazon Glacier？

回答

相关问题