avro

1热度

1回答

我开发了一个java应用程序，它使用Schema Registry从avro主题读取数据，然后进行简单的转换并在控制台中输出结果。默认情况下，我使用GenericAvroSerde类来获取键和值。一切正常，只是我必须定义额外配置每个SERDE像 final Map<String, String> serdeConfig = Collections.singletonMap("schema.regi

0热度

1回答

Apache Avro for c＃vs Microsoft.Avro.Core

我是avro的新手，并试图在新项目中实现avro模式序列化。我看到有两种不同的NuGet软件包可用，并且想知道两者之间的区别。微软的版本：https://github.com/welly87/Apache-Avro-Core（无法找到这方面的任何文件除了Hadoop和蔚蓝版） Apache的版本1.7.7.2：https://avro.apache.org/docs/1.7.7/api/csha

2热度

1回答

AVRO模式的JSON看起来有效，但从Kafka Schema注册表返回无效

我正在尝试将AVRO模式注册到模式注册表。该模式包含一个记录和一些字段。我将架构作为JSON发布到Schema Registry REST API，虽然JSON看起来很好，但服务器返回curl : {"error_code":42201,"message":"Input schema is an invalid Avro schema"}。有人可以看一下吗？ Powershell用于生成JSON

1热度

2回答

Spark与AVI兼容BigQuery

我试图在Hive中创建一个外部表，并使用存储在Avro格式的Google存储中的相同数据在BigQuery中创建另一个表。我使用的是Dataproc集群星火2.2.0，星火的Avro 4.0.0和2.1.1蜂房有Avro的版本/包之间的差异一样，但如果我创建使用蜂巢表和然后我使用Spark编写文件，我可以在Hive中看到它们。但是对于BigQuery是不同的，它能够读取Hive Avro文件

2热度

2回答

从Flink 1.3.2升级到1.4.0 hadoop文件系统和路径问题

我最近尝试从Flink 1.3.2升级到1.4.0，我遇到了一些问题，无法再导入org.apache.hadoop.fs.{FileSystem, Path}。问题是发生在两个地方： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRecord import org.apach

0热度

1回答

BQ加载错误：在位置893786302.数据块的大小的Avro解析错误27406834大于最大允许值16777216

至BigQuery专家较大，我在这就要求我们代表客户的购物历史的过程中工作我们使用前缀将Solr分面的所有最后12个月的交易连接在一个列中。当试图在BIG查询中加载这些数据时，我们得到的行下限超过了错误。有什么办法可以解决这个问题吗？实际的元组大小约为64 MB，其中avro限制为16 MB。 [ ~]$ bq load --source_format=AVRO --allow_quoted_

0热度

3回答

Avro反序列化错误 - ArrayIndexOutOfBoundsException

我的工作流程是 - 我创建avsc文件，使用avrogencpp工具生成C++类并在我的C++应用程序中创建avro二进制编码数据。我想了解为什么方案2不起作用。方案1 test.avsc { "namespace": "com.company.project", "name": "Component_DeviceInfo", "type": "record", "doc": "Ide

0热度

3回答

来自Kafka的Spark流式传输和Avro格式的HDFS写入

我基本上想要使用来自Kafka的数据并将其写入HDFS。但发生的情况是，它不是在hdfs中编写任何文件。它会创建空文件。而且请指导我，如果我想写在HDF格式的HDFS我如何修改代码。为了简单起见，我写了本地C盘。 import org.apache.spark.SparkConf import org.apache.kafka.common.serialization.StringDeser

0热度

1回答

可否将Hive反序列化为提供的模式？

我有avro文件被加载到蜂巢，但我的文件是二进制。应该使用什么反序列化器来将二进制代码转换为配置单元？我不想在配置单元中的二进制数据，但解码的二进制数据。这就是我如何创建我的表。 CREATE TABLE kst7 行格式SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' 存储为INPUTFORMAT 'org.apache.hadoop

1热度

1回答

转换JSON来的Avro通用的记录蟒蛇

我有一个问题陈述转换JSON来的Avro 能否请您给我提供一个参考，我需要的JSON转换为Avro的genric记录在我的Python程序。