yarn

0热度

1回答

目前我使用的是默认纱调度但是想这样做 - Run Yarn using the default scheduler If (number of jobs in queue > X) { Change the Yarn scheduler to FIFO } 通过代码这甚至可能吗？请注意，我正在使用Yarn作为RM在aws EMR群集上运行Spark作业。

1热度

1回答

纱线 - 为什么应用程序尝试两次？

我做了一个故意抛出错误的spark应用程序。当我在hadoop纱线上运行这个应用程序时，它总是尝试两次。我想只运行一次应用程序，而不是两次。

1热度

1回答

hadoop集群中的各个端口？

我想了解各种守护进程/进程在Hadoop集群中侦听的各种端口。核心的site.xml <property> <name>fs.defaultFS</name> <value>hdfs://master.hadoop.cluster:54310</value> </property> 纱的site.xml <property> <name>y

1热度

1回答

为什么只有很少的节点在apache的纱线上工作？

我有7个datanodes和1个namenode。我们的每个节点都有32 Gb的内存和20个内核。因此，我将容器内存设置为30 Gb，将容器虚拟CPU内核设置为18. 但是，只有三个datanode可以工作，其余datanode不能工作。下面的代码是我的设置。 /opt/spark/bin/spark-submit \ --master yarn \ --deploy-mode cluste

1热度

1回答

如何使用ResourceManager HA和Hortowork的HDP将MR作业提交给YARN群集？

我想了解如何将MR作业提交给基于YARN的Hadoop集群。案例1：对于其中只有一个ResourceManager中（即NO HA）的情况下，我们可以提出这样的工作（我实际使用，我相信是正确的）。 hadoop jar word-count.jar com.example.driver.MainDriver -fs hdfs://master.hadoop.cluster:54310 -jt

0热度

1回答

在TSF任务中自动添加，提交和推送

我在git项目中有一个升级脚本，导致yarn.lock文件作为结果被更新。现在，此脚本通过构建任务在TFS中调用。我想要的是，在调用脚本（这将是一个纱线任务）之后，我可以将任务配置为执行“add”，“commit -m”升级“和”push origin master“作为连续的步骤。这可能吗？我didn't看到任何的Git任务增加了新的步伐的时候，但我想我可以只使用一个cmd任务去做。谢谢！

0热度

1回答

纱线没有得到节点

这是在具有2个任务节点和主控的AWS EMR集群中。我在尝试启动纱线作业的hello-samza。这项工作陷入了接受状态。我看了其他帖子，似乎我的纱线没有节点。什么纱线没有获得任务节点的帮助将有所帮助。 [[email protected] hello-samza]$ deploy/yarn/bin/yarn node -list 17/04/18 23:30:45 INFO client.R

0热度

2回答

地图在RDD与集群

我一直试图在SPARK与主纱集群，但其导致没有执行下面的语句。而如果我在本地执行相同的操作，它的运行没有任何问题。有人可以提出这里有什么问题吗？在这个过程中，输入HDFS目录与文件的AVRO val rdd = sc.newAPIHadoopFile(inAvro, classOf[AvroKeyInputFormat[PolicyTransaction]], classOf

3热度

1回答

Hortonworks Nodemanager启动但失败：连接拒绝：8042

我试图解决我们的Hortonworks集群上新添加的datanode的问题。节点的YARN namenode管理器在启动后不久就会失败。以下错误消息日志返回： Connection failed to http://(ipaddress):8042/ws/v1/node/info (Traceback (most recent call last): File "/var/lib/amb

0热度

1回答

为什么在端口18080火花UI说“群集模式”时，我在客户端模式在配置文件中启动的？

在我spark-defaults.conf文件我有以下行： spark.master=yarn-client 现在，我发动工作，我期待在火花UI（这是在<master ip address>:18080），我看到在页面的顶部以下： REST URL: spark://<master ip address>:6066 (cluster mode) 我重新启动所有的火花工人和火花高手，并分发s