Hadoop 2.2.0中HDFS的配置文件在哪里？

我正在学习Hadoop，目前我正在尝试设置一个Hadoop 2.2.0单节点。我下载了最新的发行版，解压缩了它，现在我试图设置Hadoop分布式文件系统（HDFS）。Hadoop 2.2.0中HDFS的配置文件在哪里？

现在，我试图按照可用的Hadoop指令here，但我很迷茫。

在你看到有引用下列文件左边栏：

核心default.xml中
HDFS-default.xml中
mapred-default.xml中
yarn- default.xml

但这些文件是如何？

我发现/etc/hadoop/hdfs-site.xml，但它是空的！

我发现/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml但它只是一个文档！

那么，我必须修改哪些文件来配置HDFS？窟窿值是从哪里读取的？

在此先感谢您的帮助。

来源

2014-01-26 danidemi

这些文件都在hadoop/conf目录中。

要设置HDFS，您必须配置core-site.xml和hdfs-site.xml。

HDFS有两种工作模式：分布式（多节点集群）和伪分布式（一台机器的集群）。

对于伪分布式模式下，您必须配置：

在核心的site.xml：

<!-- namenode --> 
<property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:8020</value> 
</property>

在HDFS-site.xml中：

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} --> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/your-dir/</value> 
</property>

每个属性都有其硬编码的默认值。

请记得在启动HDFS之前为hadoop用户设置ssh无密码登录。

P.S.

它从Apache Hadoop的下载，你可以考虑切换到Hadoop发行版：

Cloudera's CDH，HortonWorks或MAPR。

如果安装Cloudera CDH或Hortonworks HDP，您可以在/ etc/hadoop/conf /中找到这些文件。

来源

2014-01-27 20:09:52

感谢您指点我Cloudera的CDH。目前我的目的是了解如何从头开始使用Hadoop，如果你明白我的意思，只是为了理解至少所有的部分。我同意像你指出的分发可能是更快的解决方案。 – danidemi

在这种情况下，我建议您阅读Oreilly的Hadoop权威指南2012版。 –

所有的配置文件都将位于etc/hadoop /目录下提取的tar.gz文件中。 hdfs-site.xml可能是hdfs-site.xml.template。您需要将其重命名为hdfs-site.xml。

如果你想看到什么HDFS选项选中文档中的份额/ DOC/Hadoop的/ Hadoop的项目 - 距离/ Hadoop的HDFS/HDFS-default.xml中

来源

2014-01-27 02:56:33

压缩包安装Hadoop的2.2。 0你关注this link。这是“0.23.9”，但它对于“2.2.0”绝对正常

来源

2014-01-27 08:28:32

感谢分享的链接，这的确是一个非常好的做过教程。 – danidemi

这些文件可以在这里看到/usr/lib/hadoop-2.2.0/etc/hadoop，在那个位置你可以找到所有的XML。

来源

2015-12-23 17:00:15 Batty

对于Hortonworks地点是

/etc/hadoop/conf/hdfs-site.xml

来源

2016-12-06 19:19:35

Hadoop 2.2.0中HDFS的配置文件在哪里？

回答

相关问题