将小文件合并到Hadoop分布式缓存的大文件中？

Question

我有很多小文件（大小〜1MB），我需要分发。众所周知，Hadoop和HDFS更喜欢大文件。但我不知道这是否也可以应用到分布式缓存，因为分布式文件存储在本地机器上。

如果需要合并它们，在HDFS上以编程方式合并文件的最佳方式是什么？

还有一个问题：使用符号链接有什么好处？由于

Answer 1

您可以创建你的所有小文件的存档（tar或zip），并把它添加到分布式缓存如下：

DistributedCache.addCacheArchive(new URI("/myapp/myzip.zip", job); 

并获得文件的映射/减速如下：

public void configure(JobConf job) { 
     // Get the cached archives/files 
     File f = new File("./myzip.zip/some/file/in/zip.txt"); 
     } 

更多here

Answer 2

下面是Cloudera的一个blog对小文件的问题。