yarn

    0热度

    1回答

    ACL在YARN容量调度程序中不起作用（CDH5）

    CDH-5中的容量调度程序中的ACL不会起作用。请看下面的配置。只有user1和user2应该能够队列2和队列1，但所有用户都能够访问所有队列。 让我知道如果有一个解决方案 <?xml version="1.0"?> <configuration> <property> <name>yarn.scheduler.capacity.root.queues</name>
    hadoop scheduler cloudera yarn 2014-02-19

    2热度

    2回答

    Hadoop 2.2.0 Web UI未显示作业进度

    我已从此link安装了单节点hadoop 2.2.0。当我从终端运行一个作业时，它可以很好地处理输出。 Web UI中的我用 - Resource Manager : http://localhost:8088 - Namenode Daemon : http://localhost:50070 但是，从资源管理器中的Web用户界面（如上图所示）我不能看到作业进度像提交的作业，正在运行的任务
    hadoop mapreduce yarn hadoop2 2014-02-19

    0热度

    1回答

    的Hadoop 2.2.0流内存限制

    我们有一个非常令人沮丧的Hadoop流内存不足的问题，我们的设置： 的Hadoop 2.2.0（纱） 我们的计算节点有关于7 GB的RAM 的hadoop streaming开始bash脚本至极使用约4 GB的RAM 因此只可能开始一个和每个节点只一个任务 开箱即用每个hadoop实例启动大约7个hadoop容器，默认hadoop设置。每个hadoop任务都会派生一个需要大约4 GB RAM的ba
    bash memory hadoop hadoop-streaming yarn 2014-02-21

    1热度

    1回答

    Hadoop YARN 2.2.0“文本文件繁忙错误”

    我在CentOS 6.4 ec2 AMI上运行单个节点Hadoop 2.2.0 YARN群集，当我提交作业时，出现以下错误，当容器出现时会出现以下错误正在启动。有人能让我知道如何解决这个问题吗？ 在此先感谢。 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: /t
    hadoop amazon-ec2 centos yarn 2014-02-25

    0热度

    1回答

    开始使用MapReduce的版本2

    早上好， 我没有成功找到纱线MapReduce的例子（即MapReduce的的第二版），即始终呈现一个字计数这仅仅是非常相同代码是在MapReduce的第一个版本中提供的代码。 即使“Hadoop：权威指南”在YARN中没有代码！ 你能否给我一段代码，告诉我在前一版本和最新版本中编写mapReduce代码的区别？ 实际上，我试图在MR1上写一个分支和绑定代码，但后来我看到YARN可以让事情变得简单
    mapreduce yarn branch-and-bound 2014-02-26

    0热度

    1回答

    Apache Hive on Yarn

    根据我对博客的理解，Yarn（mapred2）比hadoop的mapreduce更快或更聪明。如果它是真的，是否有办法配置Hive使用Yarn/Mapred2而没有任何复杂情况来提高性能或提高资源利用率？
    hadoop hive yarn 2014-02-26

    2热度

    1回答

    每个Hadoop映射任务使用多少个核心？

    我在最多8个任务和16个内核的YARN群集上运行Hadoop任务。 当我运行这个工作时，我看到在一个节点上运行了8个任务，但所有16个内核都被使用了。 地图任务是多线程的吗？ 地图任务使用多于1个核心？ 我可以知道哪些核心使用了每个地图任务？ 感谢， 阿萨夫
    multithreading hadoop yarn 2014-02-26

    5热度

    3回答

    在YARN中控制和监视同时执行的映射/减少任务的数量

    我在少数功能强大的机器上部署了Hadoop 2.2群集。我有一个约束来使用YARN作为框架，我不太熟悉。 如何控制实际地图的数量并减少并行运行的任务数量？每台机器都有许多CPU核心（12-32）和足够的RAM。我想最大限度地利用它们。 如何监控我的设置实际上是否可以更好地利用机器？我在哪里可以检查在给定工作中使用了多少个核心（线程，进程）？ 预先感谢帮助我融化这些机器:)
    hadoop mapreduce yarn 2014-02-27

    4热度

    1回答

    在具有420GB实例存储的ec2实例中出现Hadoop“溢出失败”异常

    我正在使用Hadoop2.3.0并在CentOS 6.4上将它安装为单节点集群（psuedo-distributed模式）Amazon EC2实例，实例存储容量为420GB和7.5GB的RAM，我的理解是，“溢出失败”异常只发生在节点磁盘空间不足的情况下，但是在短时间内运行map/reduce任务后（没有接近420 GB的数据）我得到以下例外。 我想提一下，我将同一节点上的Hadoop安装从8GB
    java hadoop amazon-ec2 yarn 2014-03-01

    3热度

    1回答

    Hadoop任务可以在单个节点上并行运行

    我是hadoop的新手，我对此有以下问题。 这就是我在hadoop中理解的。 1）当过任何文件写入Hadoop中它存储所有数据节点的数据块（64MB默认） 2）当我们运行的MR工作，分裂将从此块中创建和在每个数据节点上分割将被处理。 3）从每个分割记录读取器将被用来在映射器端生成键/值对。 问题： 1）一个数据节点可以一次处理多个分割吗？如果数据节点容量更大？ 我认为这是MR1的局限性，而用MR2
    hadoop yarn 2014-03-03
最新问题