从边缘设备到HDFS获取平面数据文件和过程

我有一个用例，车辆上的设备必须将平面二进制文件发送到云服务器，在它们进入并处理数据时将它们存储到Hbase 。我想知道哪些数据提取框架支持从远程设备上传平面二进制文件，以及需要使用哪种数据处理框架来解析这些文件并将数据存储到HBase中。请提出适合我的应用的设计。从边缘设备到HDFS获取平面数据文件和过程

来源

2017-08-10 Keerthi

看看https://www.confluent.io/product/connectors/汇合平台。您可以通过kafka分发所有数据，如果需要使用kafka流处理它，并使用kafka连接器将结果存储到HBase。

来源

2017-08-10 10:53:53 leshkin

谢谢。我的设备已经通过REST API发布了日志文件。卡夫卡可以直接从REST API中使用，而不需要在设备上进行任何更改？ – Keerthi

@Keerthi AFAIK你可以尝试使用Kafka REST代理，也许它可以帮助你。否则，您可以随时编写您自己的REST服务，通过Kafka制作人向Kafka写信。 – leshkin

从边缘设备到HDFS获取平面数据文件和过程

回答

相关问题