关于输入到映射功能

我们可以提供输入文件的映射为关于输入到映射功能

FileInputFormat.setInputPaths（CONF，inputPath）Hadoop-基本问题;

是否可以传递一个对内存的引用，比如在将xml文件解析为Hadoop框架的映射函数的输入后，使用DOM解析器构建的DOM树。

还有其他的可能吗？

感谢，大号

2010-09-15 lam

不，你不能指定内存（RAM）的信息。

原因是通常Hadoop应用程序将分布在很多物理上分离的系统中。当前版本的Hadoop“only”支持使用HDFS的分布式数据...这是一个文件系统。

您可以做的是将DOM解析器作为预处理步骤添加到您的映射器，并简单地将输入测试文件指定为输入。你可以通过创建你自己的FileInputFormat衍生物来最简单地做到这一点。

HTH

2010-09-21 11:42:23

我一直在做，只有..只是想确保输入 – lam 2010-09-23 08:42:43

非常感谢您的回答的Hadoop只需要文件 – lam 2010-09-23 09:21:14

回答