可能从集群模式下提交Spark应用程序提交输出？

Question

是否可以从集群模式下提交我的Spark应用程序的输出？如果是这样，怎么样？

我正在使用Python运行一个简单的Spark应用程序。该程序只需设置一个Spark上下文并在屏幕上打印This app ran successfully。当我提交以下应用程序：

spark-submit --deploy-mode client --master local[*] foo.py 

它运行成功并打印出消息。

然而，当我运行相同的应用程序：

spark-submit --deploy-mode cluster --master yarn-cluster foo.py 

运行成功，但我没有得到任何输出。

虽然我已经使用Spark几个月了，但在集群模式下提交应用程序相对比较新，所以任何帮助/文档都非常棒！

Answer 1

您可以保存这个应用程序成功跑到外部存储系统，如：

sc.parallelize(['This app ran successfully'], 1).saveAsTextFile(path='hdfs:///somewhere/you/want')