mappers

12热度

1回答

我想重新使用来自不同的* Mapper.xml文件的特定文件，这些文件都以某种方式读取相同的对象。我有名为Project数据库表，我创建了以下结果映射为： <resultMap id="ProjectMap" type="com.model.Project"> <id column="id" jdbcType="BIGINT" property="id" /> <result

1热度

1回答

如何计算mappers/redurs的数量以最大限度地提高在Amazon云上运行的mahout RecommenderJob的性能？

根据Amazon Elastic MapReduce上使用/可用的实例计算正确的hadoop映射器和reducer的使用数量的最佳方法是什么？（使用RecommenderJob Mahout的核心 - 0.7分发）

2热度

1回答

有了Hadoop，如何更改给定作业的映射器数量？

因此，我有两个工作，工作A和工作B.对于工作A，我想每个节点最多有6个映射器。然而，工作B有点不同。对于作业B，我只能为每个节点运行一个映射器。原因并不重要 - 我们只是说这个要求是不可协商的。我想告诉Hadoop，“对于作业A，每个节点最多安排6个映射器，但对于作业B，每个节点最多安排1个映射器。”这可能吗？我能想到的唯一的解决办法是： 1）有偏离主Hadoop的文件夹，conf.JobA和c

1热度

1回答

在lambda表达式中投射一个对象

我使用EntityTypeConfiguration来映射我的数据库。问题是，类T_DOC_GENERIC继承T_DOC，当我设置我的关系WithMany时，他期待一个对象T_DOC_GENERIC，他声明为T_DOC。 public class T_DOC_GENERICMapper : EntityTypeConfiguration<T_DOC_GENERIC> { T

0热度

1回答

从Hadoop中的映射器生成多个输出文件MapReduce

我正在从mapper生成两个输出文件。我使用Multipleoutput API生成两个输出。我不确定，如果它是正确的方式来做它。我的代码.. 请通过这个，给我你的suggestions..when我跑我得到错误代码：显示java.lang.NullPointerException .. import java.io.IOException; import org.apache.hadoop.

0热度

1回答

将最大映射器数量设置为1 Hive

我需要做一些从字符串到整数ID的映射，我正在考虑做一个UDF函数并通过这个字符串抛出它。为了这个工作，我需要一个映射器。如何将映射器阻塞为1？感谢您的帮助

3热度

2回答

hadoop得到实际的mappers人数

在我的程序的地图阶段，我需要知道创建的mappers的总数。这将帮助我在地图的关键创建过程中（我想为每个对象发出与mappers数一样多的关键值对）。我知道设置mappers的数量只是一个提示，但获得的实际数量是多少。我想在我的映射器的配置方法如下： public void configure(JobConf conf) { System.out.println("map tasks

1热度

1回答

如何设置的Hadoop

NameNodes，的DataNodes，映射器和减速的号码，我想知道如何设置的 NameNodes数量的DataNodes 映射器减速器代码/配置Hadoop。

0热度

1回答

Hadoop中的DataNode数量和MapTasks

如何设置Hadoop中的DataNode数量？是由代码，配置还是环境决定。也有人在冲浪时，有人说“地图每个节点10-100地图的首选地图数量”所以“节点”在这里意味着NameNode或DataNode？当谈论MapTasks的数量时，有人说它等于分割数量，另一个是对块数量说的，而另一些人则说这是由框架决定的，可能不会给出精确的分割或块的数量，这对他们来说是对的吗？

0热度

1回答

伪分布式：需要更改映射器节点的数量

我正在使用Intel（R）Core（TM）2 Duo处理器。我已经以伪分布模式安装了hadoop。我写了一个需要50个映射器节点的程序。是否有可能在伪分布式模式下有50个映射器节点，或者我将被限制为4个节点（2 *个内核）。我曾尝试将“mapred.tasktracker.map.tasks.maximum”设置为50，但并发性没有变化。