带文件列表的Hadoop distcp

Question

我想使用distcp将文件列表（> 1K文件）复制到hdfs中。我已经在本地目录中存储了文件列表，现在可以使用-f来复制所有文件吗？如果是，我必须在我的文件列表文件中维护什么格式？或者还有其他更好的方法吗？

Answer 1

如果您的用例将数据从本地文件系统（如Linux）复制到HDFS，则不必使用distcp。您可以简单地使用hdfs dfs -put命令。这是语法。

hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/

例如

hdfs dfs -mkdir /user/hduser/destination-dir/

hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/

创建了含有文件路径列表中的文件，但不是在所有的需要。它主要用于（对于distcp），当您将数据从一个群集复制到其他群集时