Kinesis写入ElasticSearch和S3

Question

我正在使用AWS Kinesis写入Elastic Search并以S3作为备份。所以，这是写给两个来源。但是我观察到一个问题，即它不会推到S3，而是推到弹性搜索。那么，它是否定期或类似的？任何解释，如果任何人可以给予赞赏。另外，如果是这样的话，有什么方法可以改变它吗？

Answer 1

我在这里发现了问题。因此，每个Elastic Search和S3都有配置，用于定义何时写入它们。检查缓冲区大小和缓冲时间。

它在AWS的Kinesis常见问题解答中提到： -

问：什么是缓冲区大小和缓冲的时间间隔？

Amazon Kinesis Firehose将传入的流式数据缓存到特定大小或一段时间，然后将其传递到目标。您可以在创建传送流时配置缓冲区大小和缓冲区间隔。缓冲区大小以MB为单位，对于Amazon S3目标为1MB至128MB，对于Amazon Elasticsearch服务目标，缓冲区大小为1MB至100MB。缓冲区间隔以秒为单位，范围从60秒到900秒。请注意，在数据传输到目的地的数据写入传输流的情况下，Firehose动态地提高缓冲区大小以赶上并确保所有数据都传递到目标。

来源 - https://aws.amazon.com/kinesis/firehose/faqs/

所以，在我的情况下，设置是不同的，因此，我以书面形式向S3看到的延迟。