Hadoop名称节点和日志节点自动消耗磁盘空间

我已经在5台服务器上安装了使用Cloudera（正常安装）的hbase设置。我创建了一些表格并填充了一些数据。

现在我监视了hdfs文件夹的大小。我可以看到数据节点持续给出一致的读数。但我每次检查时，我的namenode和日志节点磁盘使用量都在增加。

虽然我有少量的数据，但日志节点和名称节点每天增加30MB（大约）。

我在配置中丢失了什么吗？

你应该在'du -sh'找到这些文件所在的文件夹，并找出占用的空间。它可能是日志，图像/编辑文件或全部东西。 –

我同意唐纳德，检查每天产生的日志的大小 –

日志将去一个单独的文件夹。我可以看到它的活动名称节点服务器和日志节点增加了空间。我做了一些研究，发现每当名称节点中有一些编辑时，日志占用，然后辅助名称节点从日志读取它。但是我现在没有在我的hbase中进行任何操作。 –

而经过一些研究，我发现这个问题，为什么编辑日志不清除。它在hadoop中的设置。

* dfs.namenode.num.extra.edits.retained = 1000000

这是默认值集合。 Reference

2013-11-27 05:43:10

回答