yarn

0热度

1回答

在spark中应用saveAsCSVFile操作后，在纱线中提交作业时不会发生任何事情

我在纱线客户端中提交了一个spark工作（通过jar） ./spark-submit --class main.MainClass --master yarn-client --driver-memory 4g --executor-memory 4g --num-executors 4 --executor-cores 2 job.jar <other_args> 现在我在我的jar中有以下

0热度

1回答

在CDH，动态资源池没有运行

您好我有一个运行Hadoop集群（CDH 5.8.x），并使用了Cloudera管理器来管理Hadoop集群了Cloudera管理器提供动态资源池配置。使用配置，我可以限制应用程序编号，以特定的用户该图是示出这样我设置MCHA只能使用一个应用程序。但MCHA可以执行多个应用程序我做了什么错吗？

0热度

1回答

在一个scala spark工作中，如何运行纱线，如何使工作失败，纱线显示失败状态

我在scala spark作业代码中有一个简单的if语句，如果false我想停止工作并标记它失败了。我希望纱线用户界面以失败的状态显示火花工作，但到目前为止我所做的所有工作都已停止工作，但仅在纱线用户界面上成功完成后才显示。 if(someBoolen) { //context.clearAllJobs() //System.exit(-1) //etc, no

5热度

2回答

如何在YARN中配置垄断的FIFO应用程序队列？

我需要在hadoop集群中禁用YARN应用程序的并行执行。现在，YARN具有默认设置，因此多个作业可以并行运行。我没有看到这方面的优势，因为这两项工作运行速度较慢。我发现这个设置yarn.scheduler.capacity.maximum-applications这限制了应用程序的最大数量，但它影响提交和正在运行的应用（如文档中所述）。我想保持提交的应用程序在队列中，直到当前正在运行的应用程序

0热度

2回答

纱线中的节点状态是什么？

我想用yarn来跟踪我的节点的状态。所以，我做yarn node -list看到我的节点。然后，当我想列出某个状态下的所有节点时，我尝试执行yarn node -list -states <State>。在webUI中，我可以点击nodes，我可以看到有时我的节点是UNHEALTHY。为什么我不能从命令行以类似的方式做yarn node -list -states UNHEALTHY？或者，有

7热度

3回答

如何判断我的星火工作是否正在进行？

我有一个在YARN上运行的spark工作，它似乎只是挂起而没有做任何计算。这里是纱说，当我做yarn application -status <APPLICATIOM ID>： Application Report : Application-Id : applicationID Application-Name : test app Application-Type : SPARK U

4热度

1回答

YARN上的Spark：执行没有worker的驱动程序

在YARN上运行Spark，集群模式。纱 3数据节点 YARN => 32个vCores，32 GB RAM 我提交火花方案是这样的： spark-submit \ --class com.blablacar.insights.etl.SparkETL \ --name ${JOB_NAME} \ --master yarn \ --num-executor

0热度

1回答

纱线 - 执行火花的工作

Process spark = new SparkLauncher() .setAppResource("myApp.jar") .setMainClass("com.aa.bb.app") .setMaster("yarn") .setDeployMode("cluster") .addAppArgs(data) .launch(); 这是我如何执行我的火花罐纱线群。下面是一些问

2热度

2回答

无法查看日志纱资源经理

我试着用各种命令，我仍然做在观看纱线日志中的问题，在这里是我跟着查看日志 [[email protected] /]# yarn application -list 17/04/03 13:15:21 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032 Total number

1热度

2回答

在哪里查看flink streaming作业的日志？

我有一个连续运行在YARN上的闪存串流作业。我无法看到正在运行的任何应用程序日志。作为独立的Java程序运行时，我只获取日志。