avro

1热度

1回答

我遇到了一个问题，我更新了我的avsc模式文件中的名称空间。由于我们使用Java中创建的通用处理器来解析XML，并使用avsc文件。我们分离了接口并创建了2个不同的名称空间，现在有2个相同的avsc模式，只是名称空间不同。由于我们有使用旧名称空间生成的数据，因此我无法用新名称空间生成的新数据查询此数据。这里是我的架构的例子 - 旧模式 - "type" : "record", "name"

0热度

1回答

HDFS集群内与选定列

我使用Avro的文件数据存储在HDFS复制。我需要从一个avro文件复制选定的列数据并将其发送到同一个集群中具有其自己的模式文件（具有选定列信息）的另一个位置。我怎样才能做到这一点？是否可以使用Hive实现？或者HDFS中是否有任何实用工具可以帮助我做到这一点？这是必需的，因为一组必须能够访问整个表，而另一组应该能够访问只有几列。所以，我需要它们只在HDFS中的一个单独位置，只有所需的模式和av

0热度

1回答

avro 1.8.1 BigInteger转换

我们有一个avro字段，它是BigInteger类型的字段之一。但是avro不支持BigInteger。是否有可能在avro中处理BigInteger？我们正在使用avro版本1.8.1

0热度

1回答

json avro union的编码

我在我的avro架构中为favorite_number可能是null或int。当我JSON编码的对象，我得到： { “名”： “贾静雯”， “favorite_number”：{ “INT”：7}， “favorite_color”：空} 我试图摆脱对于联合类型的指示器，在这种情况下的整型，使其变成： { “名称”： “阿莉莎”， “favorite_number”：7， “favorite_co

2热度

1回答

KafkaAvroSerializer无需schema.registry.url序列化Avro

我是Kafka和Avro的noob。所以我一直试图让生产者/消费者运行。到目前为止，我已经能够生产和消费简单的字节和字符串，使用下列内容：配置为制片人： Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer

3热度

1回答

在Avro的文件

我有一个看起来像这样一些JSON数据存储空值： { "id": 1998983092, "name": "Test Name 1", "type": "search string", "creationDate": "2017-06-06T13:49:15.091+0000", "lastModificationDate": "2017-06-28

0热度

1回答

Logstash avro输出不能被apache解码avro-tools

我是Logstash和Avro的初学者。我们正在建立一个以logstash作为kafka队列生产者的系统。但是，我们遇到了由Logstash产生的avro序列化事件不能被apache提供的avro-tools jar（版本1.8.2）解码的问题。此外，我们注意到Logstash和avro-tools的序列化输出不同。我们有以下设置： logstash版本5.5 logstash Avro的编解

0热度

1回答

基于java文件生成Avro文件

有一些插件可以使用Avro模式生成java文件。有没有相反的情况？我想生成基于java文件的Avro模式。

3热度

2回答

Avro与Java 8的日期为逻辑类型

最新的Avro编译器（1.8.2）为基于Joda-Time的实现生成dates logical types的java源代码。如何配置Avro编译器来生成使用Java 8日期时间API的源代码？

0热度

1回答

为什么内存泄漏在这个代码中？

我是C的新手，我的程序中有内存泄漏。 static int MT_reduce(MT_table** MT) { MT_table* newMT = new_MT((*MT)->argc); /// fill data in the newMT //// if(isReduced == 1 && newMT->size > 0) { MT