在火花流中使用memSQL已经减慢了很多，Spark流作业的Events/second

Question

我有一个Spark Streaming作业，它在某些情况下访问memSQL。对于不访问memSQL的情况，Events/sec大约为3000.但是对于访问memSQL的情况，Events/sec只有大约500.我正在访问memSQL，如下所示：

What is the correct way of using memSQL Connection object inside call method of Apache Spark code

谢谢

Answer 1

这很可能是因为您正在为microbatch中的每个分区建立连接。如果你增加每批的大小，它会变得更快。