0
我看到火花AVRO数据源是基于FileFormat接口实现的。 有没有关于如何写基于FileFormat的火花自定义数据源的任何文档？到目前为止，我找不到任何东西（除了spark avro的源代码）。如何写火花自定义数据源基于FileFormat
谢谢！
A
回答
0
下面是一个简单的基于文件的数据源火花的一个例子：https://hackernoon.com/extending-our-spark-sql-query-engine-5f4a088de986
下面是实现数据源API几个例子，以及： * https://github.com/databricks/spark-csv * https://github.com/databricks/spark-avro
相关问题
- 1. 自定义数据源的自动火花模式推断
- 2. 编写你自己的火花数据源。
- 3. 应用自定义函数的火花数据帧组
- 4. 火花：聚集基于列
- 5. 基于在火花阶
- 6. 自定义模式在火花1.4.1
- 7. 火花ML编写自定义模式，变压器
- 8. 火花数据框被写入分区
- 9. 如何基于来自另一个数据帧的值（主键）来计算火花数据帧中的行数？
- 10. Java：如何定义基于整数的自定义数据类型？
- 11. 如何使用Java自定义比较订购火花RDD
- 12. 基于火花数据框中的关键值进行过滤
- 13. 在火花数据帧中添加列基于规则
- 14. 分裂火花数据帧和基于一个列值
- 15. SCE - 自定义数据源
- 16. 如何为用于基于条件火花的Scala
- 17. 如何在数据帧的基础添加列于其他列的值火花
- 18. 如何写火花sql数据框到excel文件的摘要
- 19. 如何编写基于套接字的自定义传输WCF
- 20. 如何获得火花数据帧
- 21. 火花如何确定任务数量？
- 22. 如何基于自定义LINQ2SQL类
- 23. 分区火花数据帧基于特定列，并倾倒在一个CSV
- 24. 火花流：执行自定义VS接收机的数目
- 25. Flex：在自定义itemrenderer中为火花数据网格获取列索引
- 26. 如何基于火花阶现有列中添加新列
- 27. 如何在数据库后端写入时不断更新火花数据帧？
- 28. 如何读取自定义数据库火力地堡
- 29. 收起火花数据帧
- 30. 火花数据表格集