2016-08-16 58 views
0

我正在使用Mongo-Spark连接器文档中的所有示例(https://docs.mongodb.com/spark-connector/sparkR/)都很好,但如果我在包含子文档的文档中测试查询失败,显然SQL尚未准备好此查询:sparkR-Mongo连接器查询到子文档

result <- sql(sqlContext, "SELECT DOCUMENT.SUBDOCUMENT FROM TABLE") 

错误:

com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast INT32 into a ConflictType (value: BsonInt32{value=171609012}) 
     at com.mongodb.spark.sql.MapFunctions$.com$mongodb$spark$sql$MapFunctions$$convertToDataType(MapFunctions.scala:79) 
     at com.mongodb.spark.sql.MapFunctions$$anonfun$3.apply(MapFunctions.scala:38) 
     at com.mongodb.spark.sql.MapFunctions$$anonfun$3.apply(MapFunctions.scala:36) 
     at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
     at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
     at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
     at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108) 
     at scala.collection.TraversableLike$class.map(TraversableLike.scala:244) 
     at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108) 
     at com.mongodb.spark.sql.MapFunctions$.documentToRow(MapFunctions.scala:36) 
     at com.mongodb.spark.sql.MapFunctions$.castToStructType(MapFunctions.scala:108) 
     at com.mongodb.spark.sql.MapFunctions$.com$mongodb$spark$sql$MapFunctions$$convertToDataType(MapFunctions.scala:74) 

此前我已经注册表如下:

registerTempTable(schema, "TABLE") 

我想关键的问题是如何将mongo-subdocument注册为表格。

有人有解决方案吗?

+0

请给我们看一个样本文件吗? – notionquest

回答

0

解决方案:所有字段都必须遵循相同的类型,我在String类型中有字段,而在Double类型中有其他字段,因此,表已注册,但不能进行处理。