2
我有一个RDD类型的行，即RDD [Row]和avro模式对象。我需要用这个信息创建一个数据框。如何将Avro Schema对象转换为spark中的StructType
我需要将avro模式对象转换为用于创建DataFrame的StructType。
您能否请帮助。
A
回答
1
com.databricks.spark.avro有一个类来帮助您完成此
StructType requiredType = (StructType) SchemaConverters.toSqlType(AvroClass.getClassSchema()).dataType();
请通过这个具体的例子：的http://bytepadding.com/big-data/spark/read-write-parquet-files-using-spark/
相关问题
- 1. Spark scala - 嵌套StructType转换为地图
- 2. 在Spark中，如何将多个数据帧转换为avro？
- 3. 如何将对象转换为Spark中的字符串？
- 4. 将XSD转换为RDF Schema
- 5. 使用模式将AVRO消息与Spark转换为DataFrame
- 6. 如何将对象转换为转换器中的int值？
- 7. 如何将对象的对象转换为对象数组？
- 8. 如何将String对象转换为javafx中的TextField对象？
- 9. 如何将Python对象转换为XML？
- 10. 如何将Scripting.Dictionary转换为JavaScript对象？
- 11. 如何将对象转换为数组？
- 12. 如何将JSON转换为对象？
- 13. 如何将对象转换为int？
- 14. 如何将pd.to_timedelta（）转换为time（）对象？
- 15. 如何将JSON转换为对象
- 16. 如何将JSONString转换为Javascript对象
- 17. 如何将i18n.map转换为json对象
- 18. 如何将json转换为对象？
- 19. Java将对象转换为Class如何？
- 20. 如何将NSDictionary转换为JSON对象？
- 21. 如何将对象转换为InputStream
- 22. 如何将HttpRequest转换为HttpRequestBase对象？
- 23. 如何将树转换为JSON对象？
- 24. 如何将php对象转换为javascript？
- 25. 如何将对象转换为标题
- 26. 如何将指针转换为对象？
- 27. 如何将java.sql.Date对象转换为GregorianCalendar？
- 28. 如何将JSONObject转换为类对象？
- 29. 如何将对象转换为泛型？
- 30. 如何将DTO转换为域对象
可能重复http://stackoverflow.com/questions/ 33899417/Avro的图式 - 火花，structtype –