avro

1热度

1回答

我试图让我的头在从Avro和JSON提取属性。我可以使用EvaluateJsonPath处理器从JSON中提取属性。我试图在Avro上做同样的事情，但我不确定它是否可以实现。这里是我的流量，ExecuteSQL - >SplitAvro - >UpdateAttribute UpdateAttribute是我要提取属性的处理器。请在下面找到UpdateAttribute处理器的快照，所以，我的

0热度

1回答

在HDFS中存储Avro文件

我想在HDFS上存储大量数据。我已经能够使用Python生成Avro文件。 Avro是否提供将输出直接存储到HDFS的功能？

0热度

1回答

春云kafka和avro序列化问题

我使用spring-cloud-stream-schema来读取来自kafka的avro消息。我在MessagesChannels配置输入通道： @Input("topicName1") SubscribableChannel fromInput1(); 我有这样的配置文件： @Configuration @EnableBinding(MessagesChannels.class) @E

1热度

1回答

如何将Avro中的字节列（以十进制的逻辑类型）转换为十进制？

我有一个十进制列“TOT_AMT”定义为类型“字节”和逻辑类型“十进制”在我avro模式。使用databricks火花阿夫罗，当我试图使用求和它抛出的总和函数的TOT_AMT柱从而在火花的数据帧之后的“功能和要求的数字类型不Binarytype”错误。该柱在阿夫罗模式定义如下面，名称= “TOT_AMT”， “类型”：[ “空”，{ “类型”： “字节”， “logicaltype”： “小

0热度

1回答

Avro的动态模式和嵌套的地图

我是Avro的新手，正在尝试编写一些代码来序列化一些嵌套的对象。对象的结构是这样的： class Parcel { String recipe; Map<Integer, PluginDump> dumps; } class PluginDump { byte[] state; Map<String, Param> params; } cla

1热度

1回答

Avro tojson日期格式

我使用sqoop将avro文件格式导入选定列的表。使用avro-tools来日期显示为奇怪的格式（negetive）。我如何解码日期？ {"first_name":{"string":"Mary"},"last_name": {"string":"Botman"},"birth_date":{"long":-345772800000}} 其中如MySQL查询击掌正确格式 mysql> sele

0热度

1回答

Sqoop - 导入失败：不能将SQL类型-102

当我尝试在Sqoop运行命令： sqoop import --connect jdbc:oracle:thin:@//MyServer/MyDatabase --username MyUser --password MyPassword -m 1 --table MyTable --fetch-size 10 --create-hive-table --hive-table LocalTable

0热度

1回答

如何使用Sqoop将数据保存为parquet-avro文件格式？

我需要将数据从关系数据库移到HDFS，但我想将数据保存为parquet-avro文件格式。看看sqoop documentation它看起来像我的选项是--as-parquetfile或--as-avrodatafile，但不是两者的组合。从我对下面这个blog /图片的理解中，parquet-avro的工作方式是它嵌入了avro模式的嵌入式文件，以及一个将avro对象转换并保存到parquet文

2热度

1回答

Apache代码生成仅POJO

我想根据以前定义的模式文件在我的Java项目中自动创建类。为了达到这个目的，我使用了Avro Maven插件。的问题是，生成的类不是纯粹的POJO对象 - 也有，我不希望在我的数据模型的Avro引用（要保持它的简单）： import org.apache.avro.Schema; import org.apache.avro.Schema.Parser; import org.apache

0热度

1回答

IncompatibleSchemaException：意外的类型VectorUDT在Avro的格式序列化

我使用星火Mllib来为我的数据预测，然后将它们存储到HDFS中的Avro格式时： val dataPredictions = myModel.transform(myData) val output = dataPredictions.select("is", "probability", "prediction") output.write.format("com.databricks.s