HBase和Hadoop

Question

HBase需要Hadoop安装的基础上，我到目前为止阅读。看起来HBase可以设置为使用现有的Hadoop集群（与其他一些用户共享），或者可以将其设置为使用专用的Hadoop集群？我想后者会是一个更安全的配置，但我想知道是否有人对前者有任何经验（但是我不确定我对HBase设置的理解是否正确）。

Answer 1

我知道Facebook和其他大型组织为了性能原因将他们的HBase集群（实时访问）从他们的Hadoop集群（批量分析）中分离出来。群集上的大型MapReduce作业可以影响实时界面的性能，这可能会造成问题。

在一个较小的机构或一种情况，即你的HBase的响应时间并不一定需要是一致的，你可以使用同一个群集。

除了性能问题之外，共存关系并不多（或任何）。

Answer 2

我们设置了1000个核心的现有Hadoop集群。简短的回答：它工作得很好，至少与Cloudera CH2 +149.88。但通过Hadoop版本，您的里程可能会有所不同。

Answer 3

在分布式模式下，Hadoop用于其HDFS存储。 HBase将HFile存储在HDFS上，从而从数据节点带来的复制策略和数据本地原则中受益。

RegionServer即将基本上处理本地数据，但仍可能需要从其他数据节点获取数据。

希望能够帮助您理解为何以及如何将hadoop与HBase结合使用。