失败的任务是否在Apache Spark中重新提交？

失败的任务是否在Apache Spark中自动重新提交给相同或另一个执行器？失败的任务是否在Apache Spark中重新提交？

2014-10-08 poiuytrez

失败的任务重新计算，或如果你有检查指出他们从检查点重新计算，[纸]（https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf）更详细 – aaronman 2014-10-09 18:20:31

我相信失败的任务会重新提交，因为我已经看到在Web UI上多次提交相同的失败任务。但是，如果同样的任务失败多次，全部作业是否失败：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 120 in stage 91.0 failed 4 times, most recent failure: Lost task 120.3 in stage 91.0

来源

2014-10-09 13:06:45 poiuytrez

是的，但对于失败的最大数量设置的参数

spark.task.maxFailures 4 Number of individual task failures before giving up on the job. Should be greater than or equal to 1. Number of allowed retries = this value - 1.

火花

来源

2016-11-15 22:48:26 chanllen

失败的任务是否在Apache Spark中重新提交？

回答

相关问题