yarn

2热度

2回答

我已经提交了使用Hadoop的罐子上CDH5贝塔以下命令命令MR作业2 hadoop jar ./hadoop-examples-0.0.1-SNAPSHOT.jar com.aravind.learning.hadoop.mapred.join.ReduceSideJoinDriver tech_talks/users.csv tech_talks/ratings.csv tech_talks/

0热度

1回答

Apache hadoop纱线示例程序

我是Apache YARN的新手。我已经安装了Apache YARN.Now我需要的是一个示例程序来测试安装。你能否告诉我程序的位置（除了Hortonworks YARN的例子）。提前致谢。

7热度

3回答

纱JobHistory错误：无法重新导向container_1400260444475_3309_01_000001

我的MR作业成功执行。但是，当我检查其历史收到错误为： Failed redirect for container_1400260444475_3309_01_000001 Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unkn

0热度

1回答

Hadoop 2：在eclipse中设置Hadoop 2代码来修改源代码并运行/测试？

我想要获取最新版本的Hadoop（YARN/Hadoop 2），并通过更改一些底层代码来发挥它的作用。我想知道是否有人可以在eclipse上设置这样一个Hadoop开发环境的一步一步指南，在那里我可以修改代码，编译它，然后在我的本地机器上安装/测试它？我是Hadoop的新手，我确实设法在网上找到一些指南，但他们似乎彼此非常不同，我不知道我应该遵循哪一个，为什么等，所以任何提示或资源将不胜感激。

1热度

2回答

hadoop 2.2 - datanode不启动

我今天早上有Hadoop 2.4（请参阅我以前的2个问题）。现在我删除它，并安装2.2，因为我有问题与2.4，也因为我认为2.2是最新的稳定版本。现在，我也跟着教程这里： http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1 我敢肯定我做的一切都是正确的，但我又面临着类似的问题。当我运行jps

0热度

1回答

配置单下降表不工作

我是一只新的蜜蜂在哈多普世界。我在配置单元中创建了一个内部表，并尝试将数据导入到同一个表中。然后我试图放弃表，但得到以下错误。 FAILED: Error in metadata: MetaException(message:javax.jdo.JDOException: Cannot join from [email protected]cd9f to [email protected]1d

1热度

1回答

Haddoop - MapReduce在使用YARN时运行速度极其缓慢

我知道还有另外一个问题，但目前还没有答案，所以我会试着更详细地提问。我正在Amazon 2 EC2实例上设置的2节点群集上使用Hadoop 2.2.0运行map-reduce作业;主节点是一个介质实例，从节点也是一个介质实例。它的运行速度非常缓慢，需要17分钟，但是当我在同一个簇上运行同样精确的作业而没有纱线时，它会在1分钟内运行。这里是我的mapred-site.xml中的样子： <confi

0热度

1回答

YARN：如何运行MapReduce作业与大量的映射器相比较簇大小

我有1节点Hadoop测试设置与MapReduce作业，启动96个映射器和6个reducer。在迁移到YARN之前，这项工作表现稳定但正常。使用YARN时，大多数映射器处于“挂起”状态，它开始挂起100％。工作实际上是6个子工作（16个映射器+每个1个缩减器）。这种配置反映了生产过程顺序。所有这些都在单一的JobControl下。对于具有少量节点和相对较大的作业（与群集大小相比）的情况，是否有任

2热度

2回答

在运行MapReduce作业时获取应用程序ID

运行时是否有任何方式来获取应用程序ID - 例如 - yarn命令的wordcount示例？我希望通过yarn命令从另一个进程启动作业，并通过YARN REST API监视作业的状态。（使用Hadoop 2.4.0）

0热度

1回答

MongoDB的Hive表映射

在这里我试图使用hiveql执行map reduce操作，它正在为select查询工作，但它引发了一些聚合和过滤操作的异常，请帮我解决它。我已将mongo-hadoop罐添加到相应的托盘中蜂巢> select * from users; 行 1汤姆28 2爱丽丝18 3鲍勃29 蜂房> SELECT * FROM用户其中年龄> = 20; 总MapReduce作业= 1个下水作业1出1个的减