distcp

0热度

1回答

Oozie的DistCp使用S3到S3拷贝参数无效org.jets3t.service.impl.rest.HttpException

我有一个DistCp使用动作如下 <action name="ExecuteDataCopyS3ToHDFS"> <distcp xmlns="uri:oozie:distcp-action:0.2"> <arg>-Dmapred.job.queue.name=dev</arg> <arg>-Dhadoop.security.credential.provider

0热度

2回答

s3-dist-cp和hadoop distcp作业无限循环在EMR

我试图从s3复制193 GB数据到HDFS。我运行下面的命令为S3-DistCp使用和Hadoop DistCp使用： s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles/ hadoop distcp s3a://PathToFile/file1 hdfs:///user/hadoop

0热度

3回答

HDFS到S3 DistCp使用 - 访问键

对于从HDFS将文件复制到S3存储我用命令 hadoop distcp -Dfs.s3a.access.key=ACCESS_KEY_HERE\ -Dfs.s3a.secret.key=SECRET_KEY_HERE /path/in/hdfs s3a:/BUCKET NAME 但访问密钥和sectet关键是可见这里它是不安全的。有没有任何方法可以从文件提供凭证。我不想编辑配置文件，这是

1热度

1回答

如何通过保留修改时间将HDFS文件从一个群集复制到另一个群集

我必须将一些HDFS文件从我的生产群集移到开发群集。根据文件修改时间移动到开发集群后，我必须在HDFS文件上测试一些操作。需要具有不同日期的文件在dev中进行测试。我试着用DISTCP做，修改时间正在用当前时间更新。我通过使用许多参数来检查Distcp distcp version2 guide 是否有任何其他方法可以在不更改修改时间的情况下获取文件？或者可以在将文件转换为hdfs后手动更改修改

1热度

1回答

将文件从不安全的hdfs传输到受保护的hdfs群集

我想将文件从不安全的HDFS群集传输到kerberized群集。我正在使用distcp传输文件。我已经使用了以下命令。 hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<ip>:8020/<sourcedir> hdfs://<ip>:8020/<destinationdir> 我在kerberiz

0热度

1回答

带文件列表的Hadoop distcp

我想使用distcp将文件列表（> 1K文件）复制到hdfs中。我已经在本地目录中存储了文件列表，现在可以使用-f来复制所有文件吗？如果是，我必须在我的文件列表文件中维护什么格式？或者还有其他更好的方法吗？

0热度

1回答

oozie distcp作业执行

我有一个正在执行distcp操作的oozie工作流程。工作流文件如下： <workflow-app xmlns="uri:oozie:workflow:0.3" name="distcp-wf"> <start to="distcp-node"/> <action name="distcp-node"> <distcp xmlns="uri:oozie:distcp-action:

1热度

1回答

Hadoop Distcp是否在块级复制？

群集之间/群集之间的DistCP是Map-Reduce作业。我的假设是，它在输入分割级别上复制文件，帮助复制性能，因为文件将由多个并行处理多个“块”的映射器复制。但是，当我阅读Hadoop Distcp的文档时，似乎Distcp只能在文件级别上工作。请参考这里：hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html 按照DistCp使用

0热度

2回答

使用火花在hadoop群集之间复制数据

我有一种情况，我必须将数据/文件从PROD复制到UAT（hadoop群集）。为此，我现在使用'distcp'。但它是永恒的。由于distcp在底层使用map-reduce，有没有办法使用spark来使进程更快？就像我们可以将配置单元执行引擎设置为'TEZ'（替换map-reduce），我们可以设置执行引擎为distcp启动吗？还是有任何其他'spark'方式来跨群集复制数据，这可能甚至不打扰dis

0热度

1回答

DistCp使用：从HDFS复制文件到S3（如何在斯卡拉或Java使用）

我想巨大的文件从HDFS复制通过DistCp使用通过下面的代码到S3： val files:Array[String] = new Array[String](2) files(0) = "/****/in.zip" val in = new Path(new URI("/**/in.zip")) val out = new Path(new URI("***/out.zip")) va