如何从hdfs运行加密的distcp到s3？

Question

我喜欢将数据从我们的hadoop集群（内部部署）复制到s3。我可以不加密地做到这一点。我也可以使用客户端加密运行s3cmd。我如何使用客户端加密进行distcp？

Answer 1

最近的Hadoop版本应该使用客户端加密进行传输。

为了安全起见，并且不会成为您设置细节的牺牲品，我只需确保安全传输，方法是将下面的存储桶策略放在适当位置，禁止非安全传输。

{ 
    "Statement":[ 
     { 
      "Action": "s3:*", 
      "Effect":"Deny", 
      "Principal": "*", 
      "Resource":"arn:aws:s3:::bucketname/*", 
      "Condition":{ 
       "Bool": 
       { "aws:SecureTransport": false } 
      } 
     } 
    ] 
}