amazon-kinesis

0热度

1回答

我们可以从单个Kinesis Firehose有多个目的地吗？我看到这张图片由此看来，它似乎可以从单一射流中添加s3，redshift和elastic搜索。我完全想要这样做。但是，当我从aws控制台执行它时，它只要求单个目的地。对于弹性搜索，它也要求S3。所以，我可以添加弹性搜索和s3，但仍然是redhift。我不知道如何从相同的kinesis做到这一点。请帮忙。

1热度

1回答

将数据从Amazon Aurora同步到Redshift

我正尝试在AWS Aurora和Redshift之间建立同步。实现此同步的最佳方式是什么？可能的方式来同步可以是： - 查询表，在表中查找（因为我只是在做插入，更新并不重要）的变化，这些变化在导出到一个平面文件S3存储桶并使用Redshift复制命令插入Redshift。使用和Boto3将更改发布到Kinesis流中，然后在Firehose中使用此流，从那里我可以直接复制到Redshift

1热度

3回答

AWS Kinesis Firehose和Streams在处理时间上有任何不同吗？

通过阅读两种产品（Firehose和Streams）的文档，听起来Firehose实时“接近”，在产生消息和发布消息之间可能会有60秒的延迟，而Streams文档没有提到这种潜力延迟。有没有人有任何关于消息传递时间差异的现实洞察？ [注释] 链接到Firehose FAQ提的延迟，根据缓冲器大小为S3事件。

1热度

1回答

Redshift性能：SQL查询与表格规范化

我正在通过侦听来自不同来源的事件并将该数据抽入红移群集来构建红移数据库。想法是使用Kinesis firehose使用COPY命令将数据泵入红移。但我有一个两难的位置：我想先查询使用select查询从红移的一些信息，比如下面的一个： select A, B, C from redshift__table where D='x' and E = 'y'; 正从红移必需的信息之后，我将这些信息结

0热度

1回答

为什么我在使用Lambda时需要更少的Kinesis？

我正在使用AWS Lambda从Kinesis中使用。我的Lambda函数对最大并发没有任何要求。是否有任何理由让我的流没有最大数量的碎片？我看不到这些碎片会影响成本。

0热度

1回答

Kinesis写入ElasticSearch和S3

我正在使用AWS Kinesis写入Elastic Search并以S3作为备份。所以，这是写给两个来源。但是我观察到一个问题，即它不会推到S3，而是推到弹性搜索。那么，它是否定期或类似的？任何解释，如果任何人可以给予赞赏。另外，如果是这样的话，有什么方法可以改变它吗？

0热度

2回答

使用lambda函数将数据发送到kinesis流（在不同的AWS账户中）

我有一个写入kinesis流的lambda函数。但现在，我想写入属于不同AWS账户的kinesis流。假设我拥有所有必需的跨账户权限，如何将数据发送到此流？当我调用kinesis构造函数或putRecord函数时，应如何更改参数？

1热度

1回答

的Kinesis代理不解析文件

当我指定的文件添加到文件夹中的agent.json { "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "", "flows": [ { "filePattern": "/home/ec2-user/ETLdata/contract

0热度

1回答

是否有可能在连接到API网关的Lambda上使用AWS KPL

我正尝试在AWS服务之上构建数据收集管道。下面给出整体架构; 总结系统应该从API网关（1）（每个事件的一个请求）获取事件并将数据写入Kinesis（2）。我期待〜每秒100k事件。我的问题与Lambda函数的KPL使用有关。在第2步中，我计划用KPL编写一个Lambda方法在Kinesis上以高吞吐量写入事件。但是我不确定这是可能的，因为API网关分别为每个事件调用lambda函数。在这样的

2热度

1回答

如何在RabbitMQ中实现循环法主题交换

我知道在主题交换中实现循环法行为可能会非常棘手或根本无法实现，所以我的问题实际上是，如果我能从RabbitMQ中做出任何事情或者望向其他消息队列支持。这里是我的应用需求进行详细的解释：将有一个制片人，我们称之为P 有（可能）将是成千上万的消费者，我们姑且称之为Cn 每消费者可以“订阅”1个或多个话题交换并且多个消费者可以订阅同一主题发布到该话题中的每个消息应该仅被一个消费者消费使用案例＃1