回答
Web用户界面本质上与SparkContext
相关,因此如果您不调用.stop
并保持应用程序活着,那么UI应该保持活动状态。如果您需要查看日志,那么仍然应该将这些日志保存到服务器。它可能会使一个有趣的功能,以保持Web服务器部分打开一段时间,或一些其他视图,但可能是功能要求?
// Initialize the Spark UI
private[spark] val ui: Option[SparkUI] =
if (conf.getBoolean("spark.ui.enabled", true)) {
Some(SparkUI.createLiveUI(this, conf, listenerBus, jobProgressListener,
env.securityManager,appName))
} else {
// For tests, do not enable the UI
None
}
/** Shut down the SparkContext. */
def stop() {
SparkContext.SPARK_CONTEXT_CONSTRUCTOR_LOCK.synchronized {
postApplicationEnd()
ui.foreach(_.stop())
...
}
}
更新 - 更好的答案
我已经忘记了火花历史记录服务器。 That is something you might want to look into
您可以使用Spark的事件日志记录和历史记录服务器功能来查看已完成的应用程序的UI;有关更多详细信息,请参见。
要添加的如何与历史服务器的工作是一个新手友好的一步一步的解决方案:
火花分发文件夹尝试通过启动历史服务器:
./sbin/start-history-server.sh
默认情况下,历史记录服务器将尝试监视日志的
/tmp/spark-events
,不幸的是,如果路径不存在,它将崩溃。所以,如果你得到一个错误,你可能必须首先mkdir /tmp/spark-events
。您可以查看./logs
中的历史记录服务器日志,以便在出现问题时查看详细信息。为了使上下文保持其事件日志,您必须启用事件日志记录。这可以通过编程方式或通过编辑
./conf/spark-defaults.conf
(复制的模板,如果不存在的话),并取消注释/添加一行:spark.eventLog.enabled true
运行应导致像
/tmp/spark-events/local-1465133722470
事件日志文件夹。
历史服务器UI,一般可能是你可以添加一行:
new Scanner(System.in).nextLine()
确保它在驱动程序运行
如果您正在以本地模式进行测试,即使用IDEA或Eclipse进行测试,其中一种方法是如下。
System.in.read();
spark.stop(); // spark --> SparkSession
这将确保用户界面可以随时访问。只要按下IDEA/Eclipse控制台上输入终止应用程序
在本地测试用Python编写的Spark应用程序,我将其添加为小劈到我的应用程序的结束:
raw_input("Press ctrl+c to exit")
当上运行一个YARN集群管理器,我使用端口18080上的历史管理器。
- 1. 如何让Tomcat中的HttpSession保持活跃状态?
- 2. 如何让PHP代码保持活跃状态?
- 3. altbeacon如何让后台服务保持活跃状态?
- 4. Axis Web Service保持活跃
- 5. 让Windows Mobile 6手机保持活跃状态
- 6. 是否有可能让Facebook会话保持活跃状态?
- 7. Android Air - 睡眠期间如何让应用程序保持活跃状态
- 8. 如何让应用始终在屏幕上保持活跃状态
- 9. 如何让iphone ios xmpp连接在后台保持活跃状态?
- 10. 不保持活跃
- 11. 即使在活动被破坏后,如何使服务保持活跃状态?
- 12. 让Mediaplayer长时间保持活跃状态的最佳方式是什么Android
- 13. 如何保持Android活动的状态
- 14. 如何让css按钮在点击后保持活动状态?
- 15. 如何调试让NodeJS进程保持活动状态
- 16. 如何让RTSP会话保持活动状态?
- 17. 如何让ezSQL连接保持活动状态?
- 18. 保持jQuery代码活跃
- 19. 配置保持活动状态始终保持连接状态
- 20. JVM在所有线程完成前如何保持活跃状态?
- 21. 如何在Android中保持我之前状态的UI状态?
- 22. 如何激活保持活动状态,http://www.webpagetest.org表示保持活动状态未激活
- 23. 如何在没有正在进行通知的情况下让服务保持活跃状态
- 24. 我们如何才能让iPhone屏幕保持活跃状态,而不是进入省电模式?
- 25. 如何让用户的会话在论坛上发布时保持活跃状态?
- 26. 何时使用Noop命令保持活跃状态imap闲置连接
- 27. 根据导航决定保持jQuery UI Accordion内容活跃
- 28. 如何让会话在Dart中的WebSocket中保持活动状态?
- 29. Mercurial:保持默认分支“活跃”
- 30. 保持活跃选项卡状态,打开的选项卡默认
是的。我不知道如何保持我的应用程序活着。 – poiuytrez 2015-02-24 09:06:59
我更新了关于火花历史服务器,然后我发现乔希罗森回答,但它比我原来的答案更准确 – 2015-04-12 02:35:06