2016-06-09 46 views
0

我已在AWS上使用3个m3.large实例创建了Datastax Enterprise集群,其中所有3个节点都是运行Spark的分析节点。Datastax企业可用核心数

3 m3.large amazon实例每个都有2个内核,所以共有6个内核。

在Spark Master web ui上,我看到总共只有3个内核 - >在每个工作节点的web ui上,我只看到1个可用内核。

3个其他内核发生了什么? DSE是否为Cassandra或其他一些操作在每台计算机上保留了1个内核?

谢谢

回答

0

提供DSE星火内核数默认为(0.7 * total_number_of_cores)。在你的情况下,这将导致1.4被舍入到一个单一的核心。您可以通过编辑

/etc/dse/dse.yaml 

or 

install_location/resources/dse/conf/dse.yaml 

和调整

initial_spark_worker_resources: .7 

文档下面也进入了如何修改星火设置更详细的修改您的百分比。但是,需要注意的是,如果您的机器的所有核心都分配给Spark,则系统将结束上下文切换并降低性能。

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkConf.html#sparkConf__sparkCfgMem