Q

Impala或配备SPARK作为执行引擎的配置单元？

2017-03-09 76 views 1 likes

1

我想设计从HDFS获取数据的Web UI。我想使用存储在HDFS中的这些数据生成一些报告。我有我自己的自定义报告格式。我正在编写REST API来获取数据。但是运行HIVE查询会产生延迟问题因此，我想为此采取不同的方法，我可以考虑两种方法。Impala或配备SPARK作为执行引擎的配置单元？

使用IMPALA创建表。但我不确定RIM对IMPALA的支持。
使用HIVE而不是MR使用SPARK作为执行引擎。。
spark-job-server提供REST支持并通过SPARK-SQL获取数据。

哪种方法适合或有没有更好的方法呢？请任何人都可以帮忙，因为我很新。

2017-03-09 HardRocker

+0

你是火花引擎和spark-sql之间的混淆火花cli为sql –

+0

它是我的坏。所以在阅读完一段后，我修改了我的问题。 – HardRocker

A

回答

0

如果延迟是主要考虑因素，我宁愿选择黑斑羚。它致力于hdfs上的SQL处理，并做得很好。关于REST api和你正在实现的应用程序逻辑，这似乎是一个很好的example

2017-03-12 02:07:22 Amos

相关问题