Hadoop环境下降

Question

我是学生，在做计算机科学。作为我研究的一部分，我正在研究hadoop环境。在我之前从事这项研究的人已经配置了9个Datanode以及一个名称节点和一个备用节点。我们将我们的网络流量数据存储在配置单元中，并且我正在开发配置单元查询以识别网络攻击。正在为此工作的人已经离开了我们的位置，在其他地方工作，忙于工作。所以我有几个问题：

1）我如何理解我的环境在HDFS上的体系结构，即机器如何连接以构建此环境。还有哪些服务安装在哪个机器上？

2）现在我们在环境中有9个datanode，我的教授想要减少datanodes。她的目标是在这种环境下使用2-3（最小）机器进行研究。

3）了解cloudera和hadoop有什么好的和容易的来源？也可以用来显式启动和停止服务的命令。

4）现在在cloudera管理器中，我无法启动Namenode服务器，辅助datanode和一个。我按照cloudera的顺序停止所有服务，现在按顺序开始，并且按照HDFS服务的顺序，它首先在启动它时给出namenode datanode和datanode8的失败消息。

我尝试了几种方法，但没有运气。请给我建议一些方法，我可以解决问题和良好的资源（对于初学者），我可以参考挖掘到更多。

谢谢。

Answer 1

有几种资源可以启动。对于Cloudera/CDH的一切，要去的地方是Cloudera Documentation。对于Hadoop，要去的地方是Hadoop Documentation。现在，我认为，这是一个相当大的咀嚼咬。如果你是Hadoop的新手，最好先从一本书，一些介绍开始（由于我没有阅读过任何内容，所以我不能推荐一本）。

对于您的特定问题，似乎有些服务无法启动。您需要查看各个节点上的服务日志。我无法告诉你这些日志在哪里，因为它取决于你的发布版本和关于它的配置。我怀疑一个重要的服务无法启动（可能是HDFS，看起来像namenode已关闭），这会导致其他服务失败。 Hadoop Wiki有一个troubsleshooting guide，试图遵循这一点，看看它是否可以帮助你。

至于如何调整群集大小的问题，首先得到它并运行，然后考虑改变它。请参阅Decommissioning and Recommissioning Hosts。