avro

3热度

2回答

我试图用这个Avro的shcema { "namespace": "nothing", "name": "myAvroSchema", "type": "record", "fields": [ { "name": "checkInCustomerReference", "type": "string" },

0热度

2回答

如何为通用数据写入KafkaAvro Serde.Record

我使用Kafka 0.10.2和Avro对我的消息进行了序列化，包括密钥和数值数据。现在我想使用Kafka Streams，但我试图为GenericData.Record类编写Serde类。 import org.apache.avro.generic.GenericData.Record; import io.confluent.kafka.schemaregistry.client.Sch

1热度

1回答

如何为融合模式注册表嵌套avro模式？

我尝试不同的东西可以与下列Web UI https://schema-registry-ui.landoop.com 我不能似乎把下列注册表： { "namespace": "test.avro", "type": "record", "name": "test", "fields": [ { "name": "field1",

0热度

1回答

Avro公司：ReflectDatumWriter不输出模式信息

请参见下面的示例代码： User datum = new User("a123456", "[email protected]"); Schema schema = ReflectData.get().getSchema(datum.getClass()); DatumWriter<Object> writer = new ReflectDatumWriter<>(sch

0热度

2回答

apache avro api的getLogicalType（）函数即使存在也会返回null

我正在使用apache avro并希望从我的模式中获取逻辑类型。我尝试使用函数getLogicalType()，但它返回null。我不明白什么是错的。我的模式如下。 { "namespace": "example.avro", "type": "record", "name": "User", "fields": [ {"name": "name

1热度

1回答

Avro文件总是读为GenericRecord

我有一个指定模式的avro文件。当我加载Avro文件时，他们总是以GenericData出现，即使我指定了Schema。 val schema = Article.Schema$ val job = new Job() AvroJob.setInputKeySchema(job, schema) val rootDir = "path-to-avro-files" val article

0热度

1回答

将Avro架构保存到Confluent架构 - 注册表

我正在尝试使用Postman编写一个非常简单的架构到注册表，并且已经很难得到它注册。注册一个简单的模式，这只是整个流程的第一步，还是我在这里丢失了一些东西？我使用的模式如下： { "schema":{ "type" : "record", "name" : "User", "namespace" : "com.temp.avro.model", "fiel

0热度

2回答

错误插入覆盖从orc表到avro表？

我是新来这样的事情的话，请叫我更多，因为我并没有给予足够的澄清问题这些在蜂巢运行这是Avro的表 CREATE EXTERNAL TABLE cm PARTITIONED BY ( `year` STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED as I

0热度

1回答

Hadoop：查询/阅读Avro文件

我将从复杂JSON对象导入的数据存储为Avro格式。 JSON对象由具有嵌套对象和对象数组的对象表示。 Avro的模式是这样的： { "type" : "record", "name" : "userInfo", "namespace" : "my.example", "fields" : [{"name" : "username", "ty

2热度

1回答

需要帮助推断NiFi中的json文件的avro模式

我想在NiFi中创建一个流，该流需要一个有效的json文件并使用PutHiveStreaming处理器将其直接放入配置单元表中。我的JSON看起来像下面这样： { "Raw_Json": { "SystemInfo": { "Id": "a string ID", "TM": null, "CountID": "a string ID",