yarn

1热度

1回答

我分解了30台AWS机器。当我在主节点的IP 8088检查YARN UI，我点击“节点”，我可以看到以下内容： “活动节点”我看到20 下的“失落的节点下“我看到0 我浏览到火花主在端口18080我可以看到pyspark告诉我，Alive Workers: 30。在页面的开头。我重新启动了主节点和从节点上的所有服务，但仍然发生同样的情况。如何让YARN识别所有节点？

0热度

1回答

神经节：我停止hadoop datanode后神经节remians图不变

我使用神经节来监视hadoop。我选择度量“dfs.datanode.HeartbeatsAvgTime”来判断datanode（我的意思是datanode服务，而不是主机）是否关闭。当datanode工作正常时，“dfs.datanode.HeartbeatsAvgTime”保持更改。也就是说，图中的值是变化的。它看起来像这样：但之后，我停止了数据节点的服务，在图表中的值保持不变。它看起

-1热度

2回答

过度利用带有火花的纱线资源

我有emr集群，配置如下。 Data Nodes : 6 RAM per Node : 56 GB Cores per Node: 32 Instance Type: M4*4xLarge 我在spark-sql下运行，并行执行5个hive脚本。 spark-sql --master yarn --num-executors 1 --executor-memory 20G --execu

2热度

1回答

Spark应用程序继续运行，似乎挂起 - org.apache.spark.sql.hive.thriftserver.HiveThriftServer2

我在Hadoop集群中使用HDFS 2.7.3和Spark2 2.0.0。当我启动Spark2 Thrift Server时，它成功启动，但自动从Hive用户开始运行一个作业，它似乎永远挂起。如果我手动杀死该作业，它将再次使用新的applicationId启动一项新作业。但是，如果我停止Spark2节俭服务器，它杀死的工作。你能帮我理解这个问题吗？在此先感谢。

4热度

1回答

亚马逊EMR - 如何设置超时一步

是有办法来设置超时为步亚马逊AWS EMR？我正在EMR上运行批处理Apache Spark作业，如果该作业不在3小时内结束，我希望作业停止并发生超时。我无法找到一个方法来设置超时在星火未，也不纱线，也不在EMR配置。感谢您的帮助！

1热度

1回答

如何使用spark-submit为Spark作业选择队列？

有没有办法提供参数或设置来选择我希望spark_submit作业运行的队列？

1热度

1回答

yarn api通过elapsed获取应用程序

是否有一种简单的方法来查询纱线应用程序api以获取运行时间超过x的应用程序？以下网址提供了应用的列表，但看起来并不像它尊重elapsedTime参数 http://<RM_DOMAIN>:<RM_PORT>/ws/v1/cluster/apps?states=RUNNING&elapsedTime=200000

0热度

1回答

Hadoop单节点集群设置问题

我是Hadoop的新手。我试图做单节点集群设置，同时打开资源管理器UI和作业历史记录UI，我得到server not found错误。请参考附件图片。当执行jps命令，我看到下面的O/P： 5023 JobHistoryServer 5554 Jps 4631 ResourceManager 3916 DataNode 4014 NameNode 4124 SecondaryNameN

0热度

1回答

PutHDFS on Apache NiFi错误

尝试在Apache NiFi1.2.1上使用PutHDFS处理器时，使用下面的配置; hadoop configuration reource : /usr/local/hadoop-2.7.0/etc/hadoop/core-site.xml, /usr/local/hadoop-2.7.0/etc/hadoop/hdfs-site.xml directory: /mydir 我遇到了以下

0热度

1回答

Mapreduce作业历史记录服务器和纱线Web UI不尊重HTTPS_ONLY策略

我正在使用hadoop 2.7.2并为纱线和作业历史记录服务器Web UI配置了HTTPS，但UI仍作为HTTP而不是HTTPS。我已经设置了密钥和信任存储并配置了ssl-server.xml和ssl-client.xml。 mapreduce.jobhistory.http.policy=HTTPS_ONLY mapreduce.jobhistory.webapp.https.address