yarn

0热度

1回答

我可以在url http://ec2-54-186-47-36.us-west-2.compute.amazonaws.com:8080/看到我有两个工作节点和一个主节点，它显示了spark集群。我的2工作节点和1个主运行命令JPS我可以看到，所有的服务都起来。下面的脚本，我使用初始化SPARKR会议。 if (nchar(Sys.getenv("SPARK_HOME")) < 1) {

7热度

1回答

Spark，在EMR中抛出SparkException时出现错误行为

我在使用YARN作为资源管理器和2个节点的EMR中运行Spark任务。如果我的条件不符合，我需要有目的地失败该步骤，因此下一步不会按照配置执行。为了实现这一点，我在dynamoDB中插入日志消息后抛出了一个自定义异常。它运行良好，但Dynamo中的记录插入了两次。以下是我的代码。 if(<condition>) { <method call to insert in dynamo>

0热度

1回答

的Hadoop YARN不能（在EC2上的Ubuntu 16.04）开始，从数据节点的资源管理器

我试图建立在使用AWS EC2s，所有的Ubuntu 16.04 4个节点的Hadoop集群。一切似乎都做工精细，并且日志文件不产生而格式化的NameNode或运行start-dfs.sh和start-yarn.sh 但是当我尝试上传文件到HDFS的数据节点似乎有问题连接任何错误给资源经理。在名称节点的一般错误告诉我，有0节点上运行和数据节点的日志文件，告诉我： INFO org.apache.

0热度

1回答

Spark远程执行群集失败 - HDFS连接拒绝在8020

我有问题从YARN上运行的Spark群集以外的机器提交spark-submit远程作业。 Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev.local:8020 failed on connection exception:

0热度

1回答

无法为Hortonworks中的Map/Reduce作业分配多个CPU

我在5个节点集群上运行HDP 2.4.2版本。每当我在群集上启动任何作业时，他们只会在配置的CPU上使用一个CPU。我配置了4个CPU，但我的作业只占用一个CPU。我在我的群集中有五个24核128 GB的Ubuntu盒。请让我知道，如果这是HDP的限制，因为这是工作的罚款与Cloudera的编辑 <property> <name>yarn.scheduler.maximum-alloc

1热度

1回答

如何在集群模式下在纱线上并行运行多个点火作业？

例如，当我向纱线群集提交第一个作业时，作业正在运行，然后提交第二个作业，第二个作业状态从不运行，直到第一个作业完成或成功或失败。有没有办法在集群模式下在纱线上并行运行多个点火作业？

1热度

1回答

点燃YARN日志级别不服从

在我们的ignite.sh中，它被具体分配了一个级别INFO，但在实际的容器日志中它正在打印DEBUG级别日志。在ignite.sh： JVM_OPTS= " ... -Djava.util.config.file=/data/ignite/apache-ignite-2.1.0/config/java.util.logging.properties" 在java.util.logging.

1热度

2回答

YARN和MR2有区别吗？

我有点困惑YARN和MR2之间。他们一样吗？我已经看到YARN作为在某些文档中运行分布式应用程序的平台，而MapReduce就是这样的分布式应用程序，那是什么意思？这是一个由程序员构建的MapReduce应用程序（例如：wordcount程序）吗？我再次看到“编写自己的YARN应用程序”，那是什么意思？一个wordcount程序属于哪个类别，一个YARN应用程序或一个MR2应用程序？请相关问题

2热度

1回答

org.apache.hive.com.esotericsoftware.kryo.KryoException：遇到未注册的类ID：21

我有带spark（1.6.1），hdfs和hive（2.1）的纱线簇。直到今天，我的工作流程都可以正常工作几个月（没有任何代码/环境变化）。我开始像这样得到错误： org.apache.hive.com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 21 Serialization trace:

0热度

2回答

Hive上的Spark进度条陷入10％

最近我们升级到Spark 1.6并尝试将SparkQL用作Hive的默认查询引擎。 Spark Gateway角色与HiveServer2添加在同一台计算机上，启用了Spark On Yarn Service。然而，当我运行一个查询类似以下内容： SET hive.execution.engine=spark; INSERT OVERWRITE DIRECTORY '/user/someuser