Hadoop框架模拟本地集群

Question

是否有任何Hadoop框架，我可以在Linux或Windows计算机上本地模拟完整群集？ DFS可以在本地复制数据，Compute层可以执行并行执行？ 有没有这样或类似的框架？

Answer 1

您可以在一台或多台虚拟机上安装Hadoop。例如。 Cloudera提供预装其Hadoop发行版的downloadable VM

Answer 2

Reference : Rumen是一个为MapReduce构建的数据提取和分析工具。 Rumen挖掘JobHistory日志以提取有意义的数据并以易于解析的格式存储它。瘤胃对从JobHistory日志中挖掘的信息进行统计分析，这些信息可能由其他工具执行仿真，仿真和基准测试等任务。 Rumen为GridMix（v3）和Mumak构建了基金会 。

Reference :其他新的contrib模块包括瘤胃（MapReduce的-751）和Mumak（MapReduce的728），用于建模的MapReduce的工具。两者一起工作：Rumen从历史日志中提取作业数据，然后Mumak用它模拟群集上的MapReduce应用程序和群集。 Gridmix3也设计用于处理瘤胃痕迹。作业历史日志分析器是提供有关MapReduce群集利用率（HDFS-459）信息的另一个工具。

样品Rumen数据是以SVN格式。 FYI，Rumen和Mumak是contrib模块，并没有太多的文件可用。这里有一篇关于GridMix的好文章。