该DOC https://spark.apache.org/docs/1.1.0/submitting-applications.html群集部署模式应该使用什么条件而不是客户端?
描述部署模式为:
--deploy-mode: Whether to deploy your driver on the worker nodes (cluster) or locally as an external client (client) (default: client)
使用该图fig1
作为引导(从http://spark.apache.org/docs/1.2.0/cluster-overview.html截取):
如果我开球一个火花工作:
./bin/spark-submit \
--class com.driver \
--master spark://MY_MASTER:7077 \
--executor-memory 845M \
--deploy-mode client \
./bin/Driver.jar
然后Driver Program
将MY_MASTER
如fig1
MY_MASTER
相反,如果我使用--deploy-mode cluster
则Driver Program
将工作者节点之间共享指定?如果这是真的,那么这是否意味着fig1
中的Driver Program
框可以被丢弃(因为它不再被利用),因为SparkContext
也将在工作节点之间共享?
应该使用什么条件cluster
而不是client
?
在客户端模式的子弹点,为什么你说:?“为振兴/调试更容易” – enneppi 2017-01-26 23:28:48
所以,它听起来像:客户端模式意味着司机是哪个机火花提交我是不是跑了?因此,如果有群集,并且部署模式是客户端,驱动程序将是您提交的计算机,并且只要群集配置正确,它将在群集上并行运行?另外,它听起来像:集群模式意味着您在NEEDS上提交的机器是主节点? – 2017-03-08 14:06:00