yarn

    0热度

    3回答

    设置伪分布式/单节点设置Apache Hadoop 2.2

    我已经将Apache Hadoop 2.2安装为单节点群集。当我尝试执行giraph示例时，最终出现错误“LocalJobRunner，由于一次只有一个任务，因此无法在分离的主/从模式下运行”。 我正在通过论坛，我发现我可以更新mapred-site.xml以拥有4个映射器。我尝试过，但仍然没有帮助。我遇到过，还有一个论坛是我可以将单节点设置更改为伪分布式模式，并解决了问题。 有人可以让我知道，我
    hadoop mapreduce yarn 2013-12-18

    1热度

    1回答

    获取错误apche的猪在纱线行走时“org.apache.hadoop.ipc.Client - 重试连接到服务器：tasktracker3/10.201.2.169：50000”

    我运行的Apache猪0.11.2用Hadoop 2.2.0。 ，我在猪运行的大多数简单的工作完全正常工作。 然而，每当我试图在大数据集使用GROUP BY，或LIMIT运营商，我得到这些连接错误： 2013年12月18日11：21：28,400 [ main] INFO org.apache.hadoop.ipc.Client - 重试连接到服务器：tasktracker2/10.201.2.1
    java hadoop apache-pig yarn 2013-12-18

    4热度

    1回答

    Hadoop JobClient.runJob：无法初始化群集 - 误导性错误消息（？）和建议的解决方案

    （我现在已经通过在本文后面添加了一个依赖项来解决此问题，但是想知道是否有更好的替代或者如果我错过了一些重要的东西） 当尝试运行MapReduce工作，行 JobClient.runJob(conf) 提供了以下错误堆栈： Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check
    java hadoop mapreduce cluster-computing yarn 2013-12-18

    2热度

    1回答

    如何禁用hadoop组合器？

    在wordcount示例中，组合器明确设置为 job.setCombinerClass（IntSumReducer.class）; 我想禁用组合器，以便组合器不处理映射器的输出。有没有办法做到这一点使用MR配置文件（即不修改和重新编译wordcount代码）？ 感谢
    hadoop configuration mapreduce yarn combiners 2013-12-18

    1热度

    2回答

    纱部件

    什么是 节点管理器 集装箱 应用主 纱（地图缩小2.0）？ https://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/YARN.html 也想知道为什么会出现在上面的链接的图的底盒没有应用高手？ 我不是在找它做什么，而是它是什么！如果容器意味着像spring容器（这意味着jar文件的列表？）或它的服务器像web服务器？
    hadoop mapreduce hdfs yarn 2013-12-20

    1热度

    2回答

    强制Hadoop运行具有多个reducer的应用程序

    我有一个Hadoop Map-Reduce应用程序，其代码中的下列行（将reducer的数量设置为1）。 job.setNumReduceTasks(1) 我想运行多个减速这个应用程序，所以我尝试添加下面的XML代码$HADOOP_CONF_DIR/mapred-site.xml <property> <name>mapreduce.job.reduces</name> <
    hadoop configuration mapreduce reduce yarn 2013-12-20

    2热度

    3回答

    Hadoop减速器数量配置选项优先级

    设置减少数量的以下3个选项的优先级是？换句话说，如果三个都确定了，哪一个会被考虑在内呢？ 选项1： setNumReduceTasks(2) within the application code 选项2： -D mapreduce.job.reduces=2 as command line argument 选项3： through $HADOOP_CONF_DIR/mapred-sit
    hadoop configuration mapreduce reduce yarn 2013-12-20

    1热度

    3回答

    hadoop 2.2，在Windows 7上失败的Word Count示例

    执行hadoop jar命令运行默认字数统计程序后，我收到了跟踪stderr。 java.lang.NoClassDefFoundError: org/apache/hadoop/service/CompositeService and Could not find the main class: org.apache.hadoop.mapreduce.v2.app.MRAppMaster
    hadoop yarn 2013-12-20

    4热度

    1回答

    由于ConnectException，Hadoop映射失败

    我试图在Hadoop 2.2.0群集上运行wordcount示例。由于此例外，许多地图都失败： 2014-01-07 05:07:12,544 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.net.ConnectException: Call From slave2-machine/12
    java hadoop mapreduce yarn 2014-01-07

    53热度

    5回答

    容器运行超出内存限制

    在Hadoop v1中，我已经分配了每个大小为1GB的映射器和减速器插槽，我的映射器&减速器运行良好。我的机器有8G内存，8个处理器。 现在用YARN，当在同一台机器上运行相同的应用程序时，我得到了容器错误。 默认情况下，我有这样的设置： <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>10
    hadoop mapreduce yarn mrv2 2014-01-08
最新问题