DistCp使用：从HDFS复制文件到S3（如何在斯卡拉或Java使用）

Question

我想巨大的文件从HDFS复制通过DistCp使用通过下面的代码到S3：

val files:Array[String] = new Array[String](2) 
files(0) = "/****/in.zip" 

val in = new Path(new URI("/**/in.zip")) 
val out = new Path(new URI("***/out.zip")) 
var distcpOpt = new DistCpOptions(in,out) 
ToolRunner.run(new DistCp(new Configuration(),distcpOpt), files) 

我试图做一些事情类似于this link。

以前有人做过这个，请大家帮忙。

Answer 1

我发现了解决方案：

1-文件阵列应具有两个值：一是一个用于输入和第二一个用于输出。

2- distcpOpt不需要具有任何值（空字符串就足够了）

-3-是从S3路径肯定