我已在AWS上使用3个m3.large实例创建了Datastax Enterprise集群,其中所有3个节点都是运行Spark的分析节点。Datastax企业可用核心数
3 m3.large amazon实例每个都有2个内核,所以共有6个内核。
在Spark Master web ui上,我看到总共只有3个内核 - >在每个工作节点的web ui上,我只看到1个可用内核。
3个其他内核发生了什么? DSE是否为Cassandra或其他一些操作在每台计算机上保留了1个内核?
谢谢
我已在AWS上使用3个m3.large实例创建了Datastax Enterprise集群,其中所有3个节点都是运行Spark的分析节点。Datastax企业可用核心数
3 m3.large amazon实例每个都有2个内核,所以共有6个内核。
在Spark Master web ui上,我看到总共只有3个内核 - >在每个工作节点的web ui上,我只看到1个可用内核。
3个其他内核发生了什么? DSE是否为Cassandra或其他一些操作在每台计算机上保留了1个内核?
谢谢
提供DSE星火内核数默认为(0.7 * total_number_of_cores)。在你的情况下,这将导致1.4被舍入到一个单一的核心。您可以通过编辑
/etc/dse/dse.yaml
or
install_location/resources/dse/conf/dse.yaml
和调整
initial_spark_worker_resources: .7
文档下面也进入了如何修改星火设置更详细的修改您的百分比。但是,需要注意的是,如果您的机器的所有核心都分配给Spark,则系统将结束上下文切换并降低性能。