如何访问Spark Web UI？

我在本地运行4个节点的Spark应用程序。当我跑步时我的应用程序会显示有此地址10.0.2.15我的司机：如何访问Spark Web UI？

INFO Utils: Successfully started service 'SparkUI' on port 4040. 
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040

在运行它的结尾显示：

INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040 
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 
INFO MemoryStore: MemoryStore cleared 
INFO BlockManager: BlockManager stopped 
INFO BlockManagerMaster: BlockManagerMaster stopped 
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 
INFO SparkContext: Successfully stopped SparkContext

我试图访问网络星火： 10.0.2.15:4040但该页面无法访问。与下面的地址也没有帮助尝试：

http://localhost:18080

使用ping 10.0.2.15结果是：

Send a request 'Ping' 10.0.2.15 with 32 bytes of data 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss)

经过使用netstat -a验证哪些端口可用的端口4040的可用性。结果如下：

Active connexion: 

    Active  local address  Remote address      state 

    TCP   127.0.0.1:4040  DESKTOP-FF4U.....:0     Listening

PS：已知我的代码运行成功。可能是什么原因？

来源

2016-12-25 sirine

web ui仅在Spark应用程序运行时可访问。一旦Spark应用程序完成了UI的使用。

要查看已完成和当前正在运行的Spark应用程序的日志，您必须使用Spark History server。

来源

2016-12-25 18:41:54

谢谢，我在运行应用程序的同一时间检查了http：// localhost：18080，但页面无法访问。我可以更改两个文件中的配置：spark-defaults.conf，SparkConf？ – sirine

@sirine是的，你可以调整spark-defaults.conf中的配置。另外，如果我误解了你的意思，只是为了清楚：你需要单独启动历史记录服务器，如链接下所述。 –

我检查了server-history-server.sh，sbin =“'dirname”$ 0“'” sbin =“'cd”$ sbin“; pwd'” 。 “$ sbin/spark-config.sh” 。 “$ SPARK_PREFIX/bin/load-spark-env.sh” if [$＃！= 0];那么 echo“使用命令行参数设置日志目录已弃用，请参阅 echo”请改为设置spark.history.fs.logDirectory配置选项。“ 出口SPARK_HISTORY_OPTS = “$ SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory = $ 1” 网络的exec “$ sbin目录” /spark-daemon.sh开始org.apache.spark.deploy.history.HistoryServer 1 我可以修改它呢？谢谢。 – sirine

如何访问Spark Web UI？

回答

相关问题