将多个文件添加到Hadoop分布式缓存？

我想添加多个文件到hadoop分布式缓存。其实我不知道文件名。他们将被命名为part-0000*。有人能告诉我该怎么做吗？将多个文件添加到Hadoop分布式缓存？

感谢巴拉

2010-09-03 Boolean

您可以使用-put或-copyFromLocal命令Hadoop的：

hadoop fs -copyFromLocal /home/hadoop/outgoing/* /your/hadoop/dir

来源

2010-09-03 13:20:38

我想以编程的方式执行它... – Boolean 2010-09-03 16:31:45

您可以编写bash脚本并从Java调用它们，也可以查看HDFS Java API - 请参阅“以编程方式使用HDFS” - http://developer.yahoo.com/的hadoop /教程/ module2.html – 2010-09-06 07:49:44

没有什么能阻止你从编程获取文件的列表，如果他们都在一个目录和一个一个地添加它们，对吧？或者你的情况不同？

来源

2010-09-04 06:35:02

我解决了这个问题，虽然它也许有点晚：

FileSystem fs = directoryPath.getFileSystem(getConf()); 
FileStatus[] fileStatus = fs.listStatus(directoryPath); 
for (FileStatus status : fileStatus) { 
    DistributedCache.addFileToClassPath(status.getPath(), conf); 
}

这是你想要做什么？

来源

2012-02-21 03:43:59 Breakinen

将多个文件添加到Hadoop分布式缓存？

回答

相关问题