distcp

0热度

1回答

我想将数据从一个HDFS复制到另一个HDFS。任何建议，为什么第一个工程，但不是第二个？（作品） hadoop distcp hdfs://abc.net:8020/foo/bar webhdfs://def.net:14000/bar/foo （不工作） hadoop distcp webhdfs://abc.net:50070/foo/bar webhdfs://def:14000/ba

0热度

2回答

s3distcp的多个源文件

有没有办法将S330的文件列表复制到hdfs而不是使用s3distcp的完整文件夹？这是当srcPattern不能工作时。我有一个s3文件夹中的多个文件都有不同的名称。我只想将特定文件复制到hdfs目录。我没有找到任何方法指定s3distcp的多个源文件路径。我目前使用解决方法是告诉在srcPattern hadoop jar s3distcp.jar --src s3n://buc

0热度

1回答

Hadoop distcp命令使用不同的S3目标

我正在使用一个Eucalyptus私有云，并在其上设置了CDH5 HDFS。我想将我的HDFS备份到Eucalyptus S3。使用distcp的经典方式如下：http://wiki.apache.org/hadoop/AmazonS3，即hadoop distp hdfs://namenode:9000/user/foo/data/fil1 s3://$AWS_ACCESS_KEY:[email

4热度

1回答

使用Distcp在Hadoop中进行数据摄取

我知道distcp用于数据的集群间/集群内传输。是否可以使用distcp从本地文件系统向HDFS提取数据。我知道您可以使用file：/// .... 指向HDFS之外的本地文件，但与inter/intra群集传输相比，它的可靠性和快速性如何。

6热度

1回答

如何从hdfs运行加密的distcp到s3？

我喜欢将数据从我们的hadoop集群（内部部署）复制到s3。我可以不加密地做到这一点。我也可以使用客户端加密运行s3cmd。我如何使用客户端加密进行distcp？

0热度

3回答

Hadoop的DistCp使用引发无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

当我跑步时DistCp使用将数据从S3到我的本地HDFS我在地图上减少作业过程中得到这个异常移动推出复制数据： Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 我检查了每一篇可能的在线文章。我yarn-site.xml文件包含 <property> <name>ya

1热度

2回答

distcp - HDFS文件的访问执行权限错误

我在两个不同的群集之间执行distcp。我正在选择性地使用它，因此它以文件为单位进行文件处理。两个群集中的权限相同。执行distcp的用户是相同的（在本例中命名为xxx）。复制时遇到问题，即要求执行权限...对于文件！ Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessContr

2热度

1回答

使用distcp将数据从HDFS安全地传输到亚马逊S3

我们希望将我们的Cloudera Hadoop集群中的HDFS数据备份到Amazon S3。看起来我们可以为此使用distcp，但不清楚的是数据是否通过加密传输复制到S3。有什么需要配置来启用它吗？

0热度

1回答

将数据从网关节点复制到同一网络中的不同群集

有没有办法在同一网络中将数据从群集1中的网关节点直接复制到群集2的HDFS当前我正在对群集2的网关节点执行scp，上传数据到HDFS。感谢，

3热度

2回答

DistCp使用HDFS到S3失败

我试图做这有数百个OS扩展名为小文件.avro ，但它不能为某些文件与下面的错误一个目录：从 14/09/18 13:05:19 INFO mapred.JobClient: map 99% reduce 0% 14/09/18 13:05:22 INFO mapred.JobClient: map 100% reduce 0% 14/09/18 13:05:24 INFO mapred.Jo