yarn

0热度

1回答

我有一个拥有10个节点的Hadoop集群。在10个节点中，其中3个节点部署了HBase。有两个应用程序共享该群集。应用程序1从hadoop HDF写入和读取数据。应用程序2将数据存储到HBase中。有没有一种方法可以确保hadoop M/R作业按应用程序启动 1不使用Hbase节点上的插槽？我只希望应用程序2启动的Hbase M/R作业使用HBase节点。这需要确保有足够的资源可用于应用程序2

29热度

4回答

YARN上的Spark日志在哪里？

我是新来的火花。现在我可以在纱线上运行0.9.1（2.0.0-cdh4.2.1）。但执行后没有日志。以下命令用于运行火花示例。但是，在正常的MapReduce作业中，在历史记录服务器中找不到日志。 SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \ ./bin/spark-

5热度

1回答

Slurm：在salloc vs srun下执行的代码有什么区别

我正在使用由slurm管理的集群运行一些yarn/hadoop基准。为此，我在由slurm分配的节点上启动hadoop服务器，然后在其上运行基准测试。我意识到这不是运行生产hadoop集群的预期方式，但需要。要做到这一点，我开始写一个脚本，运行srun例如srun -N 4 setup.sh。该脚本写入配置文件并在分配的节点上启动服务器，其中编号最小的机器充当主节点。这一切正常，我可以运行应用程

2热度

4回答

Hadoop 2.3.0 over windows 2008 r2 x64 about nodemanager

everyone，最近我用Cygwin64，Maven，JDK1.7x64和hadoop 2.3.0 Src在Windows 2008 R2 x64上构建包，并且它构建成功。最后，我设置了hdfs-site.xml，yarn-site.xml，core-site.xml和mapred-site.xml的所有参数。我继续格式化namenode并执行start-dfs.cmd，namenode和

0热度

2回答

Hadoop不使用一个节点作业

我有一个四节点的YARN集群正在运行。由于较小的问题，我最近不得不格式化namenode。后来我运行Hadoop的PI示例来验证每个节点仍在参与计算，他们都这样做。然而，当我开始自己的工作时，其中一个节点根本没有被使用。我想这可能是因为这个节点没有任何数据可以工作。所以我试图用平衡器来平衡集群。这不起作用，平衡器告诉我集群是平衡的。我错过了什么？

1热度

1回答

是否可以在Hadoop 1中使用Impala（不含YARN）？

我看到Hadoop 1的局限性，我们可以使用的唯一范例是mapreduce。如果你想使用其他范例（比如spark），你必须使用Hadoop 2.0和YARN。但我有一个与Impala有关的问题。是否可以在没有YARN的情况下使用Impala？谢谢。

1热度

3回答

将Hadoop作业名称设置为不在JobConf中

我正在编写一个小型Web界面以允许用户提交YARN作业。我想让他们有机会命名他们的工作，以便以后观察他们的进展。用过的jar永远都是一样的，它只会对不同的输入数据进行操作。目前，我在我的run（）方法中将作业名称设置为一个常量值。我正在寻找的是类似hadoop jar myjar.jar --jobName=MyJob *myParameters 这可能吗？

0热度

2回答

奇“的地图100％减少在Hadoop中的Java作业0％@输出

在我的工作的输出我有一个...Job: map 100% reduce 0%行印刷，每预计...Job: map n% reduce -%线印在我的输出。除此之外，作业运行正常。见线6条，22及以下（星星前缀）任何想法，为什么出现这种情况，或者是什么意思28 14/03/12 14:51:56 INFO mapred.LocalJobRunner: 14/03/12 14:51:56 INFO

0热度

1回答

我们可以有cloudera CDH5配置发生器吗？

我正在使用5节点cloudera集群（4个datanodes和1个namenode）来运行CDH5认证套件。五个节点中的每一个都有128GB的RAM和40个CPU核心。 cert。套件因OutOfMemory错误而失败。我试图通过更改HDFS和YARN配置的组合很多地方来运行测试套件。我试图通过更改地狱很多的HDFS和YARN配置组合来运行测试套件。（包括JAVA_OPTS/MAVEN_OPT

-1热度

1回答

如何处理纱名字节点故障

我有一个关于YARN如何处理“名称节点”故障疑问？还是没YARN拿出失败（的NameNode）的单点？