yarn

0热度

2回答

火花当我提交火花的工作，它未能在外壳下面exeption集群激发驾驶员：在线程“主要”组织例外。 apache.spark.SparkException：应用application_1497125798633_0065失败的状态在org.apache.spark.deploy.yarn.Client.run（Client.scala：1244）完成在org.apache.spark.dep

0热度

1回答

使用YARN进行Spark流应用程序配置

我试图在配置Spark应用程序时从群集中挤出每一个位，但似乎我并没有完全理解所有的东西。因此，我正在AWS EMR集群上运行应用程序，其中包含1个主节点和2个来自m3.xlarge的核心节点（每个节点15G RAM和4个vCPU）。这意味着默认情况下每个节点上预留11.25 GB的纱线计划应用程序。因此，主节点仅由资源管理器（纱线）使用，这意味着其余2个核心节点将用于安排应用程序（因此我们有22.

0热度

1回答

纱线错误：无法在任何配置的本地目录的初始化程序日志目录

我在使用的MapReduce面临的一个错误： Not able to initialize app-log directories in any of the configured local directories 这里是我的纱线的site.xml： <configuration>

0热度

1回答

来自aws EMR的spark定制用户日志

打开调试模式后，我正在EMR上运行一个spark任务（yarn，cluster-mode，transient - 集群在作业完成后关闭）。所有的火花日志上传到S3的预期，但我不能上传自己的自定义日志... 使用log4j的，我想给他们写了如下因素路径acording火花DOC log4j.appender.algoLog.File=${spark.yarn.app.container.log.di

0热度

1回答

错误（应用程序与退出码1返回）运行在纱线集群模式星火当

我有一个不断退出码1返回SPARK的工作，我无法弄清楚这个特殊的退出代码意味着，为什么应用用此代码返回。这是我在节点管理器看看日志 - 2017-07-10 07:54:03,839 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch wit

0热度

1回答

资源管理器没有启动

虽然从Ambari启动资源管理器其没有工作，例如App时间轴服务器，节点管理器和纱的客户服务已经开始ňNodeManagers的状态是 Status n/a active/n/a lost/n/a unhealthy/n/a rebooted/n/a decommissioned Traceback (most recent call last): File "/var/

7热度

1回答

从hdfs中读取ocr文件后不可思议地触发数据框

我在Ambari上使用Spark 2.1.1和hadoop 2.6时出现问题。我首先在本地计算机上测试了我的代码（单节点，本地文件），并且所有内容都按预期工作： from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .master('yarn')\ .appName('localT

0热度

1回答

通过Web UI访问纱线日志

如何通过web ui访问纱线作业日志？我可以通过纱管经理网站查看工作日志。但每次纱线重新启动时，纱线管理器的应用列表都是空的。画面重新启动之前我可以通过CLI命令访问应用程序日志，即使我重启纱。 $ HADOOP_HOME/bin中/纱线日志-applicationId application_1499949542308_0020 的jobhistory服务器网络用户界面是空的所有的时间我的

0热度

1回答

资源管理器：如何获取在给定的作业队列中执行的应用ID列表

我想获取在MapReduce作业队列中执行的YARN应用ID的列表。我探索了Resource Manager API，但找不到一个只需要我传递作业队列名称并获取应用程序ID列表的API。有没有办法做到这一点？

0热度

1回答

资源管理器和节点管理器可以在同一个节点中吗？ [MapR]

我们有一个资源管理器和节点管理器都在运行的节点。这是推荐的吗？