我被困在将avro数据框转换为GenericRecord/ByteArray,我在Google上冲浪,他们为我提供了另一种解决方案。如何将数据帧从avro转换为GenericRecord in scala
有没有人试图将AVRO RDD/Dataframes转换为GenericRecord或ByteArray在scala中?
我用这个命令来读取我的avro文件。
spark.read.avro("/app/q.avro")
它返回像这样的数据帧。
res0: org.apache.spark.sql.DataFrame = [recordType: string, recordVersion: string ... 6 more fields]
那么如何将sql.DataFrame转换为GenericRecord/ByteArray?
你为什么要Daraframe转换为其他对象?我认为它应该排成Bytearray而不是整个数据帧。 –
是啊... Row to ByteArray对我来说也很好... –