hadoop删除零文件的文件

Question

我正在寻找hadoop 2.x中的命令来删除hdfs中零字节的文件。 任何人都可以让我知道适当的命令。 我正在尝试在hdfs中查找零字节的文件，并将它们从目录中删除。

Answer 1

for f in $(hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done 

循序渐进：

hdfs dfs -ls -R / - 列出HDFS中的所有文件递归

awk '$1 !~ /^d/ && $5 == "0" { print $8 }') - 打印是不是目录，并用大小为0

for f in $(...); do hdfs dfs -rm "$f"; done那些完整路径 - 反复删除

Answer 2

建立在Kombajn的答案，如果你有很多文件删除它将是qui cker使用xargs。这将允许您删除多个文件，每个hdfs命令，这是相当昂贵的。

hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm