奇“的地图100％减少在Hadoop中的Java作业0％@输出

在我的工作的输出我有一个...Job: map 100% reduce 0%行印刷，每预计...Job: map n% reduce -%线印在我的输出。除此之外，作业运行正常。奇“的地图100％减少在Hadoop中的Java作业0％@输出

见线6条，22及以下（星星前缀）任何想法，为什么出现这种情况，或者是什么意思28

14/03/12 14:51:56 INFO mapred.LocalJobRunner: 
14/03/12 14:51:56 INFO mapred.MapTask: Starting flush of map output 
14/03/12 14:51:56 INFO mapred.MapTask: Spilling map output 
14/03/12 14:51:56 INFO mapred.MapTask: bufstart = 0; bufend = 51192402; bufvoid = 104857600 
14/03/12 14:51:56 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18693168(74772672); length = 7521229/6553600 
** 14/03/12 14:51:57 INFO mapreduce.Job: map 25% reduce 0% 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map > sort 
14/03/12 14:51:59 INFO mapred.MapTask: Finished spill 0 
14/03/12 14:51:59 INFO mapred.Task: Task:attempt_local1547766427_0001_m_000007_0 is done. And is in the process of committing 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map 
14/03/12 14:51:59 INFO mapred.Task: Task 'attempt_local1547766427_0001_m_000007_0' done. 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Finishing task: attempt_local1547766427_0001_m_000007_0 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Starting task: attempt_local1547766427_0001_m_000008_0 
14/03/12 14:51:59 INFO mapred.Task: Using ResourceCalculatorProcessTree : [ ] 
14/03/12 14:51:59 INFO mapred.MapTask: Processing split: hdfs://<removed>.lzo:0+21976289 
14/03/12 14:51:59 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer 
14/03/12 14:51:59 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584) 
14/03/12 14:51:59 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100 
14/03/12 14:51:59 INFO mapred.MapTask: soft limit at 83886080 
14/03/12 14:51:59 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600 
14/03/12 14:51:59 INFO mapred.MapTask: kvstart = 26214396; length = 6553600 
** 14/03/12 14:52:00 INFO mapreduce.Job: map 100% reduce 0% 
14/03/12 14:52:02 INFO mapred.LocalJobRunner: 
14/03/12 14:52:02 INFO mapred.MapTask: Starting flush of map output 
14/03/12 14:52:02 INFO mapred.MapTask: Spilling map output 
14/03/12 14:52:02 INFO mapred.MapTask: bufstart = 0; bufend = 52931779; bufvoid = 104857600 
14/03/12 14:52:02 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18670736(74682944); length = 7543661/6553600 
** 14/03/12 14:52:03 INFO mapreduce.Job: map 29% reduce 0%

编辑：？

我还是不知道到底为什么会发生这种情况，但我是错误地在本地模式下运行。以集群模式运行作业（就是所谓的），显示预期的输出。

来源

2014-03-12 jkgeyti

看来你没有减速器。您是否在jobTracker本地主机上验证过？

来源

2014-03-12 16:27:37

是什么让你相信没有减速器？ – jkgeyti

，因为如果我理解的很好，你总会有0％的减少，这看起来像是将减少任务的数量设置为零 –

啊，我明白了。不是，“问题”（作业正常结束）是输出是例如地图0％减少0％ - >地图33％减少0％ - >地图100％减少0％ - >地图66％减少0％ - >地图100％减少0％ - >地图99％减少0％ - >地图100 ％减少0％ - >地图100％减少0％ - >地图100％减少50％ - >地图100％减少100％ - >完成 – jkgeyti

看来你正在使用旧的API; 通过查看“org.apache.hadoop.mapred”来说，可以尝试使用“org.apache.hadoop.mapreduce”。

来源

2014-03-13 05:53:34 Chirag

遗憾的是，没有一个地图导入即可。我会尝试创建一个再现问题的最小示例。 – jkgeyti

奇“的地图100％减少在Hadoop中的Java作业0％@输出

回答

相关问题