kafka带有许多活动作业的火花流作业

当在YARN上使用直接kafka流时遇到“许多活动作业”问题。（火花1.5，hadoop 2.6，CDH5.5.1）kafka带有许多活动作业的火花流作业

问题发生在kafka几乎没有流量时。

从应用程序用户界面中，我发现很多“活动”作业都会持续运行数小时。最后驱动程序“请求4个新执行者，因为任务积压”。

但是，当查看“活动”作业的驱动程序日志时，日志表示作业已完成。那么，为什么应用程序用户界面显示这项工作就像永远一样？

谢谢！

以下是有关“活动”作业之一的相关日志信息。有两个阶段：reduceByKey遵循平面图。日志说这两个阶段都在20ms内完成，并且工作也在64ms完成。

Got job 6567 
Final stage: ResultStage 9851(foreachRDD at 
Parents of final stage: List(ShuffleMapStage 9850) 
Missing parents: List(ShuffleMapStage 9850) 
… 
Finished task 0.0 in stage 9850.0 (TID 29551) in 20 ms 
Removed TaskSet 9850.0, whose tasks have all completed, from pool 
ShuffleMapStage 9850 (flatMap at OpaTransLogAnalyzeWithShuffle.scala:83) finished in 0.022 s 
… 
Submitting ResultStage 9851 (ShuffledRDD[16419] at reduceByKey at OpaTransLogAnalyzeWithShuffle.scala:83), which is now runnable 
… 
ResultStage 9851 (foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84) finished in 0.023 s 
Job 6567 finished: foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84, took 0.064372 s 
Finished job streaming job 1468592373000 ms.1 from job set of time 1468592373000 ms

来源

2016-07-16 Wei

两个月前，我们遇到了与卡夫卡类似的问题（以及其他问题）。经过数周的痛苦，我们迁移到RabbitMQ：o） – Michal

我面临着类似的问题。 Myn是火花流应用程序，在我唯一的行动是写cassandra表。而且，由于某些ssl认证，此写入失败。理想情况下，它应该显示这样的批次在Streaming中失败，但它永远保持活跃状态;在批处理内成功完成作业，理想情况下应该标记为失败。

来源

2016-07-26 12:19:51 Hemalatha

kafka带有许多活动作业的火花流作业

回答

相关问题