mongodb-hadoop - VoidCC

mongodb-hadoop

0热度

1回答

MongoDB的-的Hadoop适配器

对于入门MongoDB的-的Hadoop适配器我这里指的是manual 我的系统上运行的现有的Hadoop版本是0.20.2。所以我编辑的build.sbt文件 hadoopRelease在ThisBuild：= “0.20.2”。但是，当我尝试“sbt包”的下一个命令，我得到以下错误。 [error] Hadoop Release '%s' is an invalid/unsupported

2热度

4回答

使用Java-Hadoop连接器更新MongoDB中的现有集合

是否可以使用新数据更新现有的MongoDB集合。我正在使用hadoop作业来向Mongo读取写入数据。所需的方案是： - 说在蒙戈第一个系列是 { "_id" : 1, "value" : "aaa" "value2" : null } 从蒙戈和处理数据读取数据后，MongoDB中应包含 { "_id" : 1, "value" : "aaa

0热度

1回答

mongo-hadoop包装upsert与火花似乎并没有工作

我试图使用MongoDB连接器的Hadoop与Spark查询MongoDB中的一个集合，并插入所有文件检索到另一个集合。 MongoUpdateWritable类用于RDD的值来更新MongoDB中的集合，并且它有一个upsert标志。不幸的是，upsert标志似乎对执行没有影响。代码正在执行，没有错误，就像upsert标志被设置为false一样。（Scala）代码连接到本地主机mongod进程

1热度

2回答

使用mongoDB的Hadoop：NoClassDefFoundError MongoConfigUtil

我正在学习如何使用mongodb数据作为输入来编写hadoop中的map/reduce作业。所以我也跟着this例子，但我得到了以下错误： Exception in thread "main" java.lang.NoClassDefFoundError: com/mongodb/hadoop/util/MongoConfigUtil at WordCount.main(WordCoun

2热度

2回答

Hadoop与MongoDB概念

嗨，我是Hadoop和NoSQL技术的新手。我开始通过读取存储在HDFS中的文件并进行处理来学习世界计数程序。现在我想在MongoDB中使用Hadoop。从here开始计划。现在我对它存在困惑，它将mongodb数据存储在本地文件系统中，并将本地文件系统中的数据从map/reduce读取到HDFS，然后再将其写入到mongodb本地文件系统。当我学习HBase时，我们可以将其配置为将其数据存储在

0热度

1回答

MongoDB Hadoop PIG脚本引发“未定义参数：gte”异常

我正在将数据从mongodb导入hdfs。我目前使用PIG脚本来加载数据。我需要每3小时从mongodb获取数据。为此，我需要传入mongo.input.query参数。但是我得到以下异常 java.io.IOException: org.apache.pig.tools.parameters.ParameterSubstitutionException: Undefined parameter

0热度

2回答

借助Morphia使用Hadoop中的MongoDB数据

我一直在玩MongoInputFormat，它允许MongoDB集合中的所有文档通过Hadoop中编写的MapReduce作业。正如你可以在所提供的实施例（this，this和this）该文件是在该类型被提供给映射器看到的是一个BSONObject（一个用Java接口）。现在我也非常喜欢Morphia，它允许将来自MongoDB的原始数据映射到更容易使用的POJO。因为我只能得到一个BSON

0热度

1回答

Spark：Mongo-Hadoop如何查询

我正在尝试使用Spark和mongo-hadoop对经纬度/纬度坐标进行更改的MongoDB执行$ near查询。我如何使用mongo-hadoop进行查询？除了somethnig像： mongodbConfig.set("mongo.input.query", "{'field':'value'}")我看不出有什么意义。有什么想法吗？

2热度

1回答

如何用Spark的Mongo-Hadoop连接器删除文档（记录）

我正在使用Mongo-Hadoop连接器来使用Spark和MongoDB.I想从MongoDB中删除RDD中的文档，看起来有一个MongoUpdateWritable to支持文档更新。有没有办法使用Mongo-Hadoop连接器进行删除？感谢