Livy在计算结束前返回

Question

在Hortonworks Sandbox上使用Livy，我们发现在某些情况下，Livy API会在实际工作结束之前为Spark语句监视工具所指示的结果提供结果。在某些情况下，Livy在正常执行时间超过10分钟的情况下，只需不到5秒的时间就能完成一项任务。如果我们在某些情况下多次使用相同的初始条件重复相同的任务，则会发生此问题。任何想法？

Answer 1

只需检查您是否使用相同的Livy会话进行多个工作。 如果使用了相同的会话，那么中间的Spark DataSet将被缓存，并且结果的检索速度会更快。