2014-10-02 154 views
2

我是Hadoop的新手。我在运行Ubuntu 13.03的单个虚拟机上配置了独立的hadoop安装。使用start-all.sh启动Hadoop的过程后,jps命令显示如何在独立hadoop安装(伪分布式)上启动多个datanode进程

775 DataNode 
1053 JobTracker 
962 SecondaryNameNode 
1365 Jps 
1246 TaskTracker 
590 NameNode 

按我的理解的Hadoop已经开始与1个NameNode和1周的DataNode。我想创建多个datanode进程,即多个datanode实例。有什么办法可以做到吗?

回答

0

如何安装和配置Hadoop有多种可能性。

  1. 本地(独立)模式 - 这意味着所有的Hadoop组件在一个劲儿地Java进程运行
  2. 伪分布式模式 - Hadoop的运行其所有组件(数据节点,tastracker,JobTracker的,名称节点,...)作为单独的Java进程。它作为完全分布式安装的模拟服务器,但仅在本地机器上运行。
  3. 分布式模式 - 完全分布式安装。没有任何细节:有些机器扮演“奴隶”角色,包含Datanode + Tasktracker组件,并且有一台服务器扮演“主人”角色并包含Namenode + JobTracker。

如果您想在单机上运行Hadoop,那么您有前两个选项。在单个节点上以完全分布模式运行它是不可能的。也许你可以做一个解决方法,但从基本观点来看它是不存在的。 Hadoop被设计成一个分布式系统,它可以在单台机器上运行,仅用于调试/试用。

欲了解更多详情,请按照Hadoop documentation。我希望我回答你的问题。

+0

为什么不能在一台机器上以完全分布模式使用Hadoop(如果机器有很多内核并且任务涉及大数据)? – AST 2015-07-30 20:26:13