distcp

0热度

1回答

我有以下文件夹中HDFS： hdfs://x.x.x.x:8020/Air/BOOK/AE/DOM/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/AE/INT/20171001/2017100101 hdfs://x.x.x.x:8020/Air/BOOK/BH/INT/20171001/2017100101 hdfs://x.x.x.x:

0热度

1回答

复制从一个HDFS目录中的文件到另一个Oozie的DistCp使用行动

我的行为 start_fair_usage，状态好结束，但test_copy回报 Main class [org.apache.oozie.action.hadoop.DistcpMain], main() threw exception, null 在/user/comverse/data/${1}_B我有很多不同的文件，一些我想复制到${NAME_NODE}/user/evkuzmin/o

0热度

1回答

正则表达式在Oozie的DistCp使用行动

我想，到满足某些条件的所有文件复制到一个文件夹 <action name="copy_mta_c"> <distcp xmlns="uri:oozie:distcp-action:0.2"> <arg>${NAME_NODE}${PATH_COMVERSE}${CURRENT_DATE_NO_DASH}_*/*mta.gz</arg> <arg>${NAME_NO

0热度

1回答

如何列出活动的DISTCP作业？

如何列出活动的DISTCP作业？我在两个群集之间运行distcp作业。 hadoop distcp hdfs://x/y /x/y 我想继续运行，但需要确保现有的distcp任务已完成。我已经在源和目标集群上尝试了以下操作，但是我看不到复制操作。 mapred job -list all

0热度

1回答

s3使用oozie工作流程的服务器加密

我有一个sqoop作业，它将数据写入s3存储桶。如果我从命令行运行这个作业，它将加密s3文件。但是，如果我使用相同的jar文件使用oozie工作流运行sqoop作业，那么它会将数据推送到s3，但不会发生加密。以下是我的oozie工作流程。 <java> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNo

0热度

1回答

从jsp运行mapreduce作业servlet

我有一个简单的java程序，它包装了distcp以便通过hadoop集群复制文件。我可以从IDE和hadoop cli中成功运行它。我想要一个jsp Web应用程序，以便人们可以使用Web界面来与我的程序进行交互。我创建了一个具有所有依赖关系的胖jar并将其部署到我的web应用程序中。现在的问题是，每当程序要提交DistCp使用工作它提供了以下错误： java.io.IOException

3热度

2回答

Hadoop distcp - 可以让每个文件保持一致（保留文件大小）？

当我运行一个简单的DistCp使用命令： hadoop distcp s3://src-bucket/src-dir s3://dest-bucket/dest-dir 我得到的大小略有出入（以字节为单位）的src-dir和dest-dir的 >aws s3 --summarize s3://dest-bucket/dest-dir/ ... Total Objects: 12290

0热度

2回答

Hadoop的FS -rm -skipTrash不起作用

我使用 hadoop distcp -Dmapreduce.job.queuename=adhoc /user/comverse/data/$CURRENT_DATE_NO_DASH_*/*rcr.gz /apps/hive/warehouse/arstel.db/fair_usage/fct_evkuzmin04/file_rcr/ 我停止了素文字完成它前后仍然是一个很大的.distcp.t

0热度

1回答

HDFS集群内与选定列

我使用Avro的文件数据存储在HDFS复制。我需要从一个avro文件复制选定的列数据并将其发送到同一个集群中具有其自己的模式文件（具有选定列信息）的另一个位置。我怎样才能做到这一点？是否可以使用Hive实现？或者HDFS中是否有任何实用工具可以帮助我做到这一点？这是必需的，因为一组必须能够访问整个表，而另一组应该能够访问只有几列。所以，我需要它们只在HDFS中的一个单独位置，只有所需的模式和av

1热度

1回答

当我们传递单个文件时，hadoop distcp不会创建文件夹

我在hadoop Distcp中遇到了以下问题任何建议或帮助都非常感谢。我试图从谷歌云平台的数据复制到Amazon S3 1）当我们有多个文件从源复制到目标（这做工精细） val sourcefile : String = "gs://XXXX_-abc_account2621/abc_account2621_click_20170616*.csv.gz [Multiple files to c