如何将MapReduce作业从DataNode提交给JobTracker？

我有这个怀疑，我正在运行一个单独的NameNode和JobTracker的12节点群集。我可以从JobTracker执行MapReduce作业，但我想从我的10个DataNode中的任何一个提交作业到JobTracker。这是可能的，如果是的话，如何做到这一点？如何将MapReduce作业从DataNode提交给JobTracker？

来源

2013-03-19 Ananda

是的，只要hadoop在路径上（在每个节点上），并且集群的配置已正确分配给每个数据节点。

实际上，您不一定需要配置才能正确分发，您只需要相应地配置jobtracker和hdfs网址（查看-jt和-fs选项的GenericOptionsParser选项）。

有关通用选项的更多信息，请参见此页面：http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#Generic+Options

来源

2013-03-19 10:54:35

如何将MapReduce作业从DataNode提交给JobTracker？

回答

相关问题