为什么Hadoop二级Namenode每隔一小时就需要备份一次？

大家都知道，名称节点可以存储元数据和每秒的一小部分发生在日志文件中的所有事情。确定错误日志文件只是关键因素。现在，默认情况下，辅助Namenode可以定期从Namenode获取元数据的备份。名称空间图像，编辑日志文件'将在过去的一个小时内进行备份（可配置）。为什么Hadoop二级Namenode每隔一小时就需要备份一次？

为什么Secondary Namenode需要一个小时，为什么它不会每秒都进行一次备份？已经存储在日志文件中的第二部分已经存在。为什么Hadoop会在每秒钟的一小部分时间内备份日志文件？如果配置这样的缺点？请让我知道深刻。

来源

2014-12-08 Venu A Positive

堂妹SecNameNode提供'checkpoint'设施不'高availability'。考虑每秒/分钟检查点的网络IO。看看http://wiki.apache.org/hadoop/FAQ#What_is_the_purpose_of_the_secondary_name-node.3F – blackSmith 2014-12-08 08:36:36

次要的NameNode只有名称节点的备份
如果NameNode的失败，整个群集将出现故障
在那个时候，我们就可以启动辅助名称节点作为NameNode的
我们可以指定次要名称节点的备份时间
根据交易的数量和秒数，它是可配置。参考Secondary Namenode

来源

2014-12-08 10:56:22 Rengasamy

二级名字节点（SNN）是第一次尝试减少NN负载，并在一定程度上提供了H.A. 从那时起，像Check Point Node，BackUp Node这样的SNN已经升级。

SNN：定期复制和合并FSImage和edits.log以获得更快的NN启动时间。

检查点节点：复制并合并FSImage & edits.log。然后它将这个更新的版本发送到NN来替换旧的FSImage。

备份节点：然而，它保留了运行时所有变更的备份，没有任何延迟。为了实现这一点，所有的流都与NN和BackUp节点共享，将它们合并并定期发送给NN以更新NN的FSImage文件。因此提供你要求的功能。

至于从NN网络复制每秒更新的缺点，它将在重载群集中造成网络流量的瓶颈。

来源

2015-10-10 03:55:03 user3032283

为什么Hadoop二级Namenode每隔一小时就需要备份一次？

回答

相关问题