以编程方式终止Spark作业

-1

我通过Jupyter笔记本运行pyspark应用程序。我可以使用Spark Web UI杀死一份工作，但我想以编程方式杀死它。以编程方式终止Spark作业

我该如何杀死它？

假设你写了这个代码：在文档

from pyspark import SparkContext 

sc = SparkContext("local", "Simple App") 

# This will stop your app 
sc.stop()

2017-04-05 17:35:31

这难道不是创建一个新的，独立的SparkContext？ –

如果您将在您的应用程序中调用sc.stop（），则将停止SparkContext，否则不会。我添加SparkContext的初始值以明确** sc ** –

@ cricket_007它会终止该Spark应用程序中的所有作业。我只想杀死一个特定的工作。 – shivanshuiitg

回答