将csv文件合并到一个文件中

Question

我有一组csv文件，我想将它们合并到一个csv文件中。 ，这需要一些时间，但我没有找到该文件中的目标路径

hdfs dfs -getmerge /DATA /data1/result.csv 

任何帮助 感谢

Answer 1

您也可以尝试串联本地Linux文件FS使用

cat $DOWNLOAD_DIR/*.csv >> $CONCAT_DIR/<concatenated_filename>.csv 

然后将连接的文件放在hdfs上。

Answer 2

getmerge

用法：hadoop fs -getmerge [-nl] <src> <localdst>

取得一个源目录和目标文件作为输入并连接文件的src到目标本地文件。可以将-nl设置为允许在每个文件的末尾添加换行符（LF）。在空文件的情况下，可以使用--skip-empty-file来避免不需要的换行符。

例子：

hadoop fs -getmerge -nl /src /opt/output.txt 

hadoop fs -getmerge -nl /src/file1.txt /src/file2.txt /output.txt 

退出代码：

则返回0，在错误的成功和非零。

如果一些如何它不工作，你

你可以尝试cat命令是这样的：（如果你的数据是不是足够大）

hadoop dfs -cat /DATA/* > /<local_fs_dir>/result.csv 

hadoop dfs -copyFromLocal /<local_fs_dir>/result.csv /data1/result.csv