amazon-kinesis

0热度

1回答

我有来自不同生产者的Kinesis流中的数据。根据数据的类型，数据需要转换为几个不同的表格。我试图从Kinesis Streams读取Lambda，将数据转换为不同的表格，然后使用Kinesis Firehose将批处理和COPY转换为Redshift。但是由于Firehose一次只能传递给一个Redhsift表，因此我需要使多个Firehose实例的运行时间与我在Redshift模式中使用的表

1热度

1回答

Kinesis是否公开任何指标/日志以检测写入Kinesis流的源？

如果我的Kinesis流中有多个写入源（外部帐户），我是否可以看到每个写入器消耗的带宽？我可以看的任何指标/日志？谢谢你的时间！编辑 - 我知道我可以在流处理/消费期间发出指标。我很好奇看看平台本身是否提供任何日志/指标。

0热度

1回答

AWS CLI界面，室壁运动

我尝试写一些数据，AWS室壁运动与CLI放记录，而这是不工作： aws kinesis put-record --stream-name my-stream-name --data Data=jose|12 我得到一个“击：12：命令未找到“错误。 aws kinesis put-record help工程，所以我不明白的错误。我正在关注this documentation。

-2热度

1回答

Amazon Kinesis Stream如何与Java Stream进行比较？

我已经阅读并观看了Kinesis Stream上的一些视频，并且我了解它允许从应用程序和实时分析中获得数据流。但是它是如何与Java Stream相关的，因为我认为通过API连接或TCP连接，可以通过使用Java Stream来重新创建Kinesis Stream吗？ Kinesis Stream vs Java Stream的优点和缺点是什么？

0热度

1回答

如何将数据写入Kinesis中的特定分片

如何将数据写入Kinesis中的特定分片？在boto文档说分区键是Unicode字符串，具有256个字符用于每个键的最大长度的限制。 MD5散列函数用于将分区键映射到128位整数值，并使用分片的散列键范围将关联的数据记录映射到碎片。您可以通过使用ExplicitHashKey参数明确指定散列值来覆盖散列分区键以确定分片。但是我该怎么做呢？

0热度

1回答

Boto3阅读室壁运动流

的boto3文档提到在请求中，可以指定碎片迭代器类型AT_TIMESTAMP从任意时间点读记录，TRIM_HORIZON造成ShardIterator指向系统碎片中最后一条未修剪的记录（碎片中最早的数据记录）或LATEST，以便始终读取碎片中的最新数据。这是 my_shard_id = 'shardId-000000000000' shard_iterator = kinesis_clie

0热度

2回答

计算设备秒使用室壁运动分析

我与室壁运动分析实验和已经解决了与它的许多问题，但实际上坚持了以下内容：其实，我有记录的流当设备被打开，反映 device_id | timestamp | reading 1 | 2011/09/01 22:30 | 1 1 | 2011/09/01 23:00 | 0 1 | 2011/09/02 03:30 | 1 1 | 2011/09/02 03:31 | 0 有关在reading场我

1热度

1回答

如何丢弃记录？

我向AWS Kinesis发送事件，这些事件由AWS lambda函数处理。但是，如果lambda引发一些错误，记录不会被丢弃，并且会一遍又一遍地处理，阻止处理新记录。我宁愿跳过错误的记录和消化新的记录。我不明白该怎么做。 lambda函数捕获任何异常，所以它不应该给出任何执行错误。下面是Python中的代码片段。据我了解，拉姆达应在“保留”期间（24小时默认）重试，但我想放弃，最终记录

0热度

2回答

Kinesis Firehose是Kinesis Streams的替代品吗？

Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的细节加载流式数据。在Firehose的情况下没有碎片或维护的概念。在这种情况下，Kinesis Firehose是Kinesis Streams的替代品吗？

1热度

1回答

Spark结构化流媒体集成与Kinesis

我想弄清楚Kinesis集成Spark结构化流媒体是否稳定。 AWS大数据博客几乎没有任何关于Kinesis和Spark Structured Streaming的博客。想知道你们中的任何人是否尝试过Spark Structured Streaming与Kinesis？如果是这样，你觉得它稳定？