hadoop纱线资源管理

我有一个拥有10个节点的Hadoop集群。在10个节点中，其中3个节点部署了HBase。有两个应用程序共享该群集。应用程序1从hadoop HDF写入和读取数据。应用程序2将数据存储到HBase中。有没有一种方法可以确保hadoop M/R作业按应用程序启动 1不使用Hbase节点上的插槽？我只希望应用程序2启动的Hbase M/R作业使用HBase节点。这需要确保有足够的资源可用于应用程序2，以便HBase扫描速度非常快。hadoop纱线资源管理

有关如何实现此目的的任何建议？

来源

2014-04-05 Vijay

如果您在Yarn上运行HBase和您的应用程序，（HBase本身和MR Jobs的应用程序主控人员）可以请求数据节点上的最大可用资源。

您是否知道hortonworks项目Hoya =纱线上的HBase？

特别的特征之一是：

，同时保持的HBase的低延迟的SLA

来源

2014-04-05 12:56:10 woopi

这是不是意味着我们要实现我们自己的应用程序母版，其中我们可以指定主机名运行MR工作？ – Vijay

如果Hbase的应用主服务器配置为使用所有节点资源，则其他应用程序无法从资源管理器获取这些节点上的资源。 – woopi

hadoop纱线资源管理

回答

相关问题