Kinesis - 处理写入ProvisionedThroughputExceededException

Question

我们将AWS Kinesis用作持久队列。 Kinesis拥有最多1000次写入/秒，每个分片总数限制为1M /秒。我们使用案例的80％低于限制。但是，有一些超过1M/s的峰值。为这些峰值预留更多写入容量是不划算的。

有什么建议吗？

1. 让SDK处理ProvisionedThroughputExceededException重试？
2. 将事件写入临时位置并刷新一次达到1M？
3. ...？

Answer 1

您可以使用kinesis autoscaling的awslabs项目。

这会自动增加高峰时段的碎片数量，并在活动较少时降低碎片数量。您可以通过Autoscaling策略配置阈值来完成此操作。