NiFi或Streamsets从HBase读取，加入平面文件中的内容并写入Hive

试图找出是否可以通过apache NiFi或Streamsets实现连接。所以我可以定期从HBase中读取数据，并与其他表格一起写入Hive表格。NiFi或Streamsets从HBase读取，加入平面文件中的内容并写入Hive

或者是否有任何其他工作流管理器工具支持此操作？

2017-05-03 Srihari Karanth

我并不熟悉Streamsets，但我会尽力帮助NiFi。你的平面文件是静态的吗？如果是这样，你是否想直接替换值？你应该可以使用ReplaceTextWithMapping处理器。如果不是直接替换，则可以使用平面文件中的值预填充DistributedMapCache，然后使用FetchDistributedMapCache对HBase记录进行查找。

如果一切都失败了，那么如果您对诸如Groovy，Javascript或Jython等脚本语言感到满意，可以使用ExecuteScript或InvokeScriptedProcessor编写“连接”部分。

在支持CSV文件，属性文件和内存查找的查找/增强处理器上有一个open Jira case（取得了一些很好的进展）。

来源

2017-05-03 15:13:07 mattyb

谢谢，FetchDistributedMapCache似乎是我正在寻找的。它也可以定期做。例如，我有一个表，不断填充新行，我想每隔一小时为前一小时数据（与其他静态表上的连接）汇总一次。那么NiFi会记得哪些时间已经汇总，哪些需要在剩余时间内选择？聚合将在少数列上具有SUM/AVG。 –

它不会进行聚合，缓存仅用于查找。在即将发布的NiFi 1.2.0版本中，您可以使用UpdateAttribute在文件流经时保持运行计数/总和 – mattyb

NiFi或Streamsets从HBase读取，加入平面文件中的内容并写入Hive

回答

相关问题