avro

-1热度

2回答

我正在从格式为MM/dd/yyyy hh:mm a z的DB中读取时间现在我想在用户本地时区显示这个时间。所以我的问题是：应该在哪里做客户端或服务器端？为了这个目的，在lib中是否构建？ UPDATE 所以我决定做服务器的转换，因此，我有方法定义为与服务器和时区的客户端时间偏移参数日期之后。 public String convertToLocalDateTime(Date dateFromD

-1热度

1回答

阅读现有的Avro文件并发送到Kafka

我有一个现有的Avro文件与模式。我需要将文件发送给Producer。以下是我写的代码。 public class ProducerDataSample { public static void main(String[] args) { String topic = "my-topic"; Schema.Parser parser = new Schem

1热度

1回答

通过Kafka和Spark消耗大数据

我在Json中有一个由Websocket提供的流数据，其大小在每秒1MB和60MB之间变化。我得解码数据然后解析它，最后写入到mysql。我想2个想法： 1）从插槽中读取数据，然后对数据进行解码，并通过Avro公司发送给消费者的生产者，然后来获取数据并写入到MySQL的星火地图，减少消费 2）从Socket读取数据然后将数据发送到Consumer in Producer，然后在Consum

0热度

1回答

如何使用Python解码/反序列化Kafka Avro字符串

我正在从远程服务器接收Kafka Avro邮件（使用Confluent Kafka Python库的使用者），它使用带有字段的用户代理，位置表示点击流数据，url等。这里是一条消息的样子： b'\x01\x00\x00\xde\x9e\xa8\xd5\x8fW\xec\x9a\xa8\xd5\x8fW\x1axxx.xxx.xxx.xxx\x02:https://website.in/rooms/

1热度

1回答

将AVRO文件加载到BigQuery时出错

我已使用bq CLI实用工具将大量AVRO文件（具有相同架构类型的相同表格）加载到Google存储中。然而，对于一些AVRO文件而载入BigQuery我变得非常神秘的错误，该错误表示：阿帕奇的Avro库未能读取与follwing错误数据：EOF 达到（错误代码：无效）采用验证过的Avro工具的AVRO文件没有损坏，报表输出： Java的罐子Avro的工具-1.8.1.jar修复-o报告201

1热度

1回答

使用python avro库时的读取和写入架构

avro规范允许使用不同的写入和读取架构，只要它们匹配即可。该规范进一步允许别名迎合读写模式之间的差异。以下python 2.7试图说明这一点。 import uuid import avro.schema import json from avro.datafile import DataFileReader, DataFileWriter from avro.io import Dat

2热度

1回答

在Amazon S3存储桶中创建Avro文件

如何在s3存储桶中创建Avro文件，然后向其中添加avro记录。我有所有的字节数组形式的avro记录，并成功地在一个avro文件中传输。但他的文件是（我知道）不是一个完整的avro文件。由于完整的avro文件是模式+数据。以下是在S3中传输文件中字节记录的代码。任何人都知道如何创建基于avro模式的文件，然后将这些字节传输到相同的文件。 public void sendByteData(by

0热度

1回答

PIG脚本错误，虽然试图以AVRO格式存储：基准2不在联合[“空”，“字符串”]

我试图存储数据AVRO格式，但无法实现为什么我得到错误。基准2不在联合[“null”，“string”]这是什么意思？解析XML： REGISTER piggybank.jar REGISTER /opt/cloudera/parcels/CDH/lib/pig/lib/avro.jar REGISTER /opt/cloudera/parcels/CDH/lib/pig/lib/json-

1热度

1回答

如何将DStream转换为avro格式并保存在hdfs中的文件

我有一个类型为[String，ArrayList [String]]的DStream，我想将此DStream转换为avro格式并将其保存为hdfs。我怎么能做到这一点？

0热度

1回答

转换org.apache.avro.generic.GenericRecord到org.apache.spark.sql.Row

我有org.apache.avro.generic.GenericRecord，avro schema利用这一点，我们需要与SQLContext API的帮助下创建dataframe列表，创建dataframe需要RDDorg.apache.spark.sql.Row和avro schema。创建DF的先决条件是我们应该拥有org.apache.spark.sql.Row的RDD，它可以通过使用下