绩效评估

Question

我运行查询，并希望评估性能（执行IME） 我的尝试：

t0 = time.time() 
df =sqlContext.sql(query) 
df.count() 
t1 = time.time() 

我可以肯定的是，查询完成，T1-T0是查询运行时间？

Answer 1

在IBM Analytics for Apache Spark上，在您的笔记本中，转到“调色板”并选择“环境”。在那里你可以看到一个指向Spark History Server的链接，你可以在其中调查你的Spark工作。

对于每个Spark作业列出计算时间。