mapreduce

0热度

1回答

我在编写mapreduce函数时遇到了一些问题。我要解决以下问题：我有1mio的JSONObject这样的JSON文件： {"_id":3951,"title":"Two Family House (2000)","genres":["Drama"],"ratings":[{"userId":173,"rating":5},{"userId":195,"rating":5},{"userId"

0热度

1回答

Hadoop MapReduce无法连接到ResourceManager

我试图设置具有单节点群集（Psuedo-distributed）的Hadoop并使用the apache guide来这样做。现在，我尝试运行MapReduce工作，并使用例如它提供bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha3.jar grep input output 'dfs[a-z]+

1热度

1回答

如果地图插槽是跨机架开始的，那么Job Tracker如何处理数据？

1.在将任务分配给任务跟踪器进行处理时，作业跟踪器首先尝试在具有包含数据的数据节点的相同服务器上的空闲插槽中查找任务跟踪器（以确保数据的局部性） 2.如果找不到此任务跟踪器，它会在同一机架中的另一个节点上查找任务跟踪器，然后穿过机架找到任务跟踪器。拇指规则：仅处理逻辑将达到数据进行处理。假设任务跟踪器跨机架启动，而相应的处理数据不可用，那么在这种情况下，处理逻辑（程序）如何到达数据而不是数据到

-1热度

1回答

访问HBase表 - 正常java vs MR作业

请让我知道何时使用MR作业以及何时使用普通java访问HBase表？提前致谢。

0热度

1回答

禁止命令行输出hadoop fs命令

我正在使用Python程序运行hadoop mapreduce作业，该程序为mapreduce作业创建不同的输入路径作为参数。我目前检查的hadoop fs的路径存在，在我通过这些输入路径到映射精简，使用命令： hadoop fs -test -e 'filename' 我的Python程序然后使用命令行通信，并确定是否存在该文件（的-test当文件存在时返回0，否则返回大于1的整数）。由于P

0热度

1回答

如何在Hadoop中的映射器之间共享HashMap？

我可以分享HashMap不同映射器相同值如静态变量？我在hadoop集群中运行作业，并且我试图在所有在不同datanode上运行的mapper之间共享变量值。 INPUT ==>文件路径写到FileID InputFormat => KeyValueTextInputFormat public class Demo { static int termID=0; public

1热度

1回答

数据本地概念是否适用于Reducers？

我的理解：数据局部性的概念仅适用于Mapper，因为它处理输入文件。 Reducers还会在处理时使用Data locality概念吗？数据局部性：数据局部性是指于它所驻留从其位置使所述计算的数据，而不是请求数据的数据的处理。在计算数据时，Mappers和Reducers可以工作。映射器在计算数据时使用数据局部性。减速器将输入作为映射器输出。假设映射器输出（中间数据）存储在不同的数据

1热度

1回答

第一次迭代时Hadoop迭代器跳过方法调用

我有一个Map Reduce程序，并且在Reducer类中，我的方法在第一次迭代中没有被调用。我想要实现的是在迭代器的每两个连续值之间生成一些新行。（对如：（1,2），（2,3），（3,4）...）。我错过了什么？我还测试了我有我需要的对，它看起来很好，但似乎我的方法不是第一对调用。 generate（） - 将在每两个连续行之间生成新行（填满时间间隙） input: X, Y, 00:00:0

2热度

3回答

是否可以在MapReduce中的同一个键下输出多个值？

如果我正在运行MapReduce工作我会允许有： context.write(key, value1) context.write(key, value2) context.write(key, value3) .... 我mapper功能？这是否会像Java中的Map类一样并覆盖预先存在的值？

2热度

1回答

JSON MapReduce中的错误

我在一个读取JSON文件并从JSON输入中提取元素的MapReduce（Map only task）上工作。输入数据： {"type":"cloud_monitor","format":"default","version":"1.0","id":"71101cb85441995d11a43bb","start":"1413585245.921","cp":"254623","message":