如何在发生错误时失败Spark应用程序

Question

我想让我的Spark应用程序失败，但遇到错误（例如我的文件行数小于10，这是我的业务逻辑的逻辑错误）。我正在做一个System.exit（20），但是当我检查应用程序在yarn（yarn应用程序 - 状态）中的状态时，它显示成功，我想看到失败。我使用shell脚本来自动化事物，但是这种行为对我来说是一个障碍。

请你帮帮我，我怎么能完全失败我的火花应用程序，使纱线应用状态将失败。

注：我正在运行中的纱线集群模式火花

感谢，

Answer 1

如果你的代码是在Java中，你可以调用方法stop()您JavaSparContex，像这样：

SparkConf sparkConf = new SparkConf(); 
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 

javaSparkContext.sc().taskScheduler().stop();