嗨,我是Hadoop和NoSQL技术的新手。我开始通过读取存储在HDFS中的文件并进行处理来学习世界计数程序。现在我想在MongoDB中使用Hadoop。从here开始计划。Hadoop与MongoDB概念
现在我对它存在困惑,它将mongodb数据存储在本地文件系统中,并将本地文件系统中的数据从map/reduce读取到HDFS,然后再将其写入到mongodb本地文件系统。当我学习HBase时,我们可以将其配置为将其数据存储在HDFS上,并且hadoop可以在HDFS(map/reduce)上直接处理它。如何配置mongodb以将其数据存储在HDFS上。
我认为最好的方法是将数据存储在HDFS中进行快速处理。不在本地文件系统中。我对吗?如果我走错了方向,请清除我的概念。
虽然这可能与驱动器工作https://ccp.cloudera.com/display/ CDHDOC/Mountable + HDFS,我不明白你为什么要在MongoDB上引入这样的图层?它仍然只能在一台机器上使用。所以,除了减慢mongo并可能破坏整个过程的稳定性之外,我不明白你为什么要这样做? 10gen已经创建了一个分布式解决方案。 – WiredPrairie 2013-02-14 11:58:56