xyz场景需要多少mapper和reducer？

Question

场景：我有节点A和节点B，每个节点具有100 MB的磁盘空间。我想要在其中存储128 MB文件（让复制因子为1，块大小为64 MB）。在此场景中将如何存储文件？还需要多少mapper和reducer来处理这个文件？ 假设我想用一个映射器处理这个文件，那么哪个节点将运行这个映射器？

Answer 1

我假设你说的是2个数据节点A & B，因为整个集群只有A & B，它们中的任何一个都需要是不能存储任何数据的名称节点。

文件将被拆分成两个64MB块和A & B将主持一个块，每块。不能说谁拥有第一名，谁将拥有第二名。

在缺省设置中，2映射器将处理分割在其各自的节点和一个减速器将处理既映射器输出。

如果您想强制只使用一个映射器，那么第一个任务跟踪器的数据节点跳动到作业跟踪器将运行映射器。

希望这会有所帮助。