2017-04-12 25 views
0

我已经创建了4个节点的HDinsight集群。当我发出命令“纱节点-list”,它表明:运行容器的天青数量是多少?

Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 

后,我提交蜂房的工作,它计算映射器(例如:900)和减速器(例如:100)。那么如果我检查节点详细信息,它会显示所有节点中值为8的正在运行的容器。如果我提交简单的作业,容器将值2或1随机分配给任何工作节点。

1. we know that, the mapper/reducer job are assigned to worker nodes. here, is it 4 worker nodes are processing the work or containers are processing? 
    2. basically, what is number of containers. 
    3. how the value of running containers assigned/changed? 
+0

终于,找到了解决办法。正在运行的容器的数量显示节点大小的磁盘值。例如,如果我们选择具有3个工作节点的D4 V2大小,则运行的容器数值将为48.计算是(工作节点的否)*(D4 V2磁盘大小,即16)。 –

回答

0

在azure HDinsight中创建hadoop集群的过程中,您将在该存储帐户中配置存储帐户和容器。 blob容器被用作群集的默认存储位置。或者,您可以指定群集可以访问的其他Azure存储帐户(链接存储)。群集还可以访问任何配置了完全公共读取访问权或仅用于斑点的公共读取访问权限的blob容器。

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-provision-linux-clusters