设置伪分布式/单节点设置Apache Hadoop 2.2

Question

我已经将Apache Hadoop 2.2安装为单节点群集。当我尝试执行giraph示例时，最终出现错误“LocalJobRunner，由于一次只有一个任务，因此无法在分离的主/从模式下运行”。

我正在通过论坛，我发现我可以更新mapred-site.xml以拥有4个映射器。我尝试过，但仍然没有帮助。我遇到过，还有一个论坛是我可以将单节点设置更改为伪分布式模式，并解决了问题。

有人可以让我知道，我需要改变哪些配置文件，以获得单节点设置行为为伪分布式模式。

Answer 1

添加到renZzz答案，你还需要检查，如果你可以ssh到本地主机没有密码：

$ ssh localhost 

如果您无法通过SSH到本地主机没有密码，请执行以下命令：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

以下链接可以帮助你 - https://hadoop.apache.org/docs/current2/hadoop-project-dist/hadoop-common/SingleNodeSetup.html

Answer 2

我的第一个设置，我跟着一些手册，但肯定最好的一个单点点头e设置，是pdf Apache Hadoop YARN_sample。我建议您一步一步地使用本手册

Answer 3

首先，确保工作人员的数量是一个。然后，你需要配置Giraph不通过拆分和工人师傅：

giraph.SplitMasterWorker=false 

你可以将它设置在giraph-site.xml中或通过命令行 传递选项：

-ca giraph.SplitMasterWorker=false 

参考： https://www.mail-archive.com/user@giraph.apache.org/msg01631.html