如何通过hadoop mapreduce作业访问windows/unix目录中的文本文件

Question

我想将日志文件从windows/unix环境复制到特定目录结构中的HDFS。我知道我可以在hadoop shell中做copyFromLocal，但是可以通过使用Mapper的java代码来完成。

Answer 1

如果你的意思是复制从本地计算机本地文件（或目录）到HDFS，这里是代码：

Configuration conf = new Configuration(); 
    FileSystem fs = FileSystem.get(conf); 
    Path localPath = new Path("your_local_path"); 
    Path remotePath = new Path("your_hdfs_path"); 
    fs.copyFromLocalFile(localPath, remotePath);