Hadoop dfs.include文件

Question

请解释dfs.include文件的用途以及如何定义它。 我已经为Hadoop集群添加了一个新节点，但它没有被namenode标识。在其中一篇文章中，我发现dfs.include可以解决此问题。 在此先感谢， Vladi

Answer 1

只包含dfs.include和mapred.include中的节点名称是不够的。从属文件必须在namenode/jobtracker上更新。必须在新节点上启动tasktracker和datanode，并且必须在NameNode和JobTracker上运行refreshNodes命令，以使其知道新节点。

以下是关于如何做到这一点的instructions。

按照'Hadoop : The Definitive Guide'

由dfs.hosts指定和mapred.hosts性能的文件（或文件）是从从机文件不同。前者由namenode和jobtracker用来确定哪些工作节点可以连接。 Hadoop控制脚本使用从属文件执行群集范围的操作，例如群集重新启动。它不会被Hadoop 守护进程使用。