2017-05-28 82 views
1

如何阅读avro来自FlinkscalaAvro支持Flink - scala

是不是同一批次/流/表:StreamExecutionEnvironment/ExecutionEnvironment/TableEnvironment

会是某事像:val custTS: TableSource = new AvroInputFormat("/path/to/file", ...)

下面是java的Avro中实现REF(connectors),但无法找到任何地方斯卡拉裁判:

AvroInputFormat<User> users = new AvroInputFormat<User>(in, User.class); 
    DataSet<User> usersDS = env.createInput(users); 

回答

2

您可以使用弗林克的InputFormats,包括AvroInputFormat ,来自Java以及斯卡拉API:

  • 流式传输&批量:val avroInputStream = env.createInput(new AvroInputFormat[User](in, classOf[User]))
  • 表API:tableEnv.registerTable("table", avroInputStream.toTable)