HDP 2.5：Spark历史记录服务器UI将不会显示不完整的应用程序

Question

我使用Hortonworks Data Platform 2.5设置了一个新的Hadoop集群。在“老”集群（安装HDP 2.4）我可以通过点击链接show incomplete applications看到有关通过历史服务器UI运行星火作业的信息：

在新的安装此链接打开的页面，但始终是No incomplete applications found!（当仍有应用程序在运行时）。

我刚才看到，该YARN ResourceManager UI显示了两种不同类型的在“跟踪用户界面”一栏的链接，取决于星火应用程序的状态：

• 应用程序运行：申请硕士
  • 这个链接打开http://master_url:8088/proxy/application_1480327991583_0010/
• 应用程序完成：历史
  • 这个链接打开http://master_url:18080/history/application_1480327991583_0009/jobs/

通过纱线RM链接，我可以看到正在运行的应用程序的Spark的相关信息，但通过星火历史服务器为什么我不能访问它们UI？是否有些事情从HDP 2.4改为2.5？

Answer 1

我解决了它，这是一个网络问题：由于交换机配置不正确，一些群集主机（Spark从机）无法相互访问。发现它，因为我试图互相ping每台主机。

由于所有主机都可以互相ping通主机，所以问题不复存在，我可以在我的Spark历史记录服务器UI中再次看到活动和完成的作业！

我没有注意到这个问题，因为ambari-agents在每个主机上工作，并且从每个集群主机也可以访问ambari-server！但是，由于所有主机都可以互相访问，所以问题就解决了！