如何定期将Redis数据发送到第三方服务？

Question

我需要在我的应用程序中构建某种分析功能。在高峰时段，我预计会每秒收到15000个新记录。为了提高速度，我将使用Redis进行写入。但是书面数据应该格式化并以某种方式发送给BigQuery for OLAP。什么是最有效的方法呢？

我能想到的两种方法：

1. 具有将要定期连接到同一 的Redis实例/集群，并得到书面资料，并使用他们的API 批量插入BigQuery的一个单独的应用程序。
2. 使用Lua脚本定期将Redis键和值发送到 BigQuery。

就像我的阅读和研究一样，Lua脚本似乎是一个快速解决方案。但是我没有任何经验，我也没有意识到有限制。例如，我可以通过由Redis运行的Lua脚本发送HTTP API调用吗？错误处理呢？

因此，这里的问题：

你有什么建议，以实现我上面提到的需求？

• a）一个单独的应用程序
• b）中的Lua脚本
• C）其它混合
• d）（因此，是什么？）

当然和，为什么呢？

谢谢

Answer 1

你试过AfterShip BigQuery流光？

• https://github.com/AfterShip/bigquery-streamer

似乎做的正是你所需要的：“这是使用流插入模式Redis的记录传输到谷歌的BigQuery流光”