我有一个用例,其中应用程序的输入分批进入XML文件。例如,每晚的一批银行交易。我正在尝试查看是否可以使用事件采购创建事件日志。根据我目前阅读的内容,这些示例似乎基于用户驱动的输入(点击流,来自用户界面的更新等)。使用分布式日志机制(如Kafka)的事件采购是基于批处理/文件的输入的有效方法吗?事件采购是否适用于批量输入?
下面是我想采取的方法:
- 接受输入的文件/ XML
- 运行在内存的一些基本验证了一批。
- 将批量输入转换为一系列事件
- 将事件日志写入Kafka主题。
- 使用事件日志将数据存储到数据库,发送事件 到搜索引擎,更新缓存,运行火花工作要做聚合 等,
- 重复此过程,对于其他传入批次。
如果这种方法效率不高,还有哪些其他选项可用于分布式处理此类输入?