avro

1热度

2回答

尝试序列化包含数组的Avro GenericRecord时发生NullPointerException

当试图使用BinaryEncoder写入Avro对象时，我试图发布Avro（进入Kafka）并获取NullPointerException。这里是缩写堆栈跟踪： java.lang.NullPointerException: null of array of com.mycode.DeeplyNestedObject of array of com.mycode.NestedObject of

0热度

1回答

Kafka Consumer Vs Apache Flink

我做了一个poc，使用火花流从卡夫卡读取数据。但是我们的组织正在使用Apache Flink或Kafka使用者从Apache kafka读取数据作为标准过程。所以我需要用Kafka消费者或Apache Flink替换Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据并将字段放在cassandra中，所以建议使用Kafka使用者而不是flink /其他流，因为我不需

0热度

1回答

用户定义类型的Avro默认值

是否可以为用户定义类型设置默认值？即给出的AVDL： protocol { record A { } record B { union { A, string } foo = A; } } 记录B是有效的，thing默认情况下为A的一个实例？

2热度

2回答

的NoSuchMethodError使用Databricks星火的Avro 3.2.0

我有一个火花主&工人Docker容器火花2.0.2和Hadoop 2.7运行。我试图通过运行 df = spark.read.json("/data/test.json") df.write.format("com.databricks.spark.avro").save("/data/test.avro") 从不同的容器（同一网络）pyspark提交一份工作，但我得到这个错误： java.

0热度

2回答

在Spring-cloud-stream-schema中缺少AvroSchemaMessageConverter类 - 1.2.0.RC1

我在Spring-cloud-stream-schema - 1.2.0.RC1中缺少AvroSchemaMessageConverter类。我想通过这个链接Missing schema module for spring-cloud-stream。 <dependency> <groupId>org.springframework.cloud</groupId> <artif

0热度

1回答

简单计数查询超出Impala内存限制

编辑：表中有一些损坏的AVRO文件。删除其中的一些后，每件事情都很好。我使用avro-tools将这些文件解压缩为json，解压缩后的文件也不是很大。所以它似乎是Impala中处理损坏的AVRO文件的一些错误。我有一个Impala表与Gziped AVRO格式，它是由“日”分区。当我执行查询： select count(0) from adhoc_data_fast.log where day

0热度

2回答

如何在Avro IDL中使用逻辑类型？

我试过以下Avro IDL中引用逻辑类型timestamp-millis的代码，它不起作用。是否需要在Avro IDL中使用逻辑类型的导入？或者逻辑类型是不可用的，我需要使用原始类型（在这种情况下是long）呢？ protocol test { record test { timestamp-millis time; } } 结果： Exception in

-1热度

3回答

在Hadoop文件系统上执行更新的最佳方法是什么？

在Hadoop文件系统上执行更新的最佳方法是什么？对于实例，我有一个包含数据的avro文件，为了下一次运行，我需要更新avro文件本身中的数据。我们如何解决这个问题？例：我对HDFS以下数据，需要更新的 “街道” 数组下一次 { “名称” 为： “DistrictName”， “_class”： “org.bitbucket .codezarvis.api.dto.DistrictDocumen

0热度

1回答

在包含avro模式中的工会中包含enum类型时发出的问题

我正在与Apache Kafka一起向Kafka主题发送消息。我试图在Avro Schemas中使用包含枚举类型的工会进行消息验证。但是我在union中使用枚举类型时遇到了一个问题。我通过POSTMAN工具使用Kafka REST API将记录/消息发布到具有模式验证的主题。下面是请求负载包括架构和记录在线 - { "key_schema": "{\"type\": \"record\"

0热度

1回答

如何实现镶木地板格局的变化

只是我们面临的一个设计问题。我有镶木格式的蜂巢外部表列如下： describe payments_user col_name,data_type,comment ('amount_hold', 'int', '') ('id', 'int', '') ('transaction_id', 'string', '') ('recipient_id', 'string', '') ('y