amazon-kinesis

1热度

1回答

对于我近期实时处理大量数据的项目，我有一个架构困境。因此，这里是目前的架构图：这里是我的想法的解释，这使我那张照片：当API网关接收它把数据流中的请求（这是因为我的应用 - “射后不理的性质）That's how I came up to that conclusion，输入数据在此基础上保证了我正确的顺序一个特定的请求属性碎片分离。然后，我有哪管它一个lambda用于验证输入和异常检测，这

0热度

1回答

在java程序中获取错误写入Kinesis Firehose流

我试图从API（谷歌股票/金融API）将一些数据写入我的AWS Firehose流。我已经在Eclipse上下载并安装了AWS插件，在AWS上设置了我的Firehose流，并且似乎所有内容都已正确安装。但是，我遇到了一些问题。下面的代码似乎不推荐使用...我尝试了不同的版本，但是我似乎无法获得正确的代码。 AmazonKinesisFirehoseClient firehoseClient = n

0热度

1回答

KCL消费者缺失记录

我注意到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收。这可能发生的原因是什么？之前和之后的记录都很好。所有异常都在我的应用程序中使用，并且不会被KCL收到。所以http://docs.aws.amazon.com/streams/latest/dev/troubleshooting-consumers.html#w1ab1c11c11c15b9的情况也没有发生。一些

0热度

1回答

如何让CloudFormation尊重Kinesis同时创建流的限制

我有一个包含多个Kinesis流的CloudFormation堆栈。如果在创建或更新期间流数小于5，则没有问题。如果我有超过5个错误发生，整个堆栈被回滚。该问题由模板中的流添加到配置文件中动态添加，因此顺序不确定。有没有办法使用等待条件来说一次只能做5个这些？即使这我觉得会是一个问题，因为我不知道正在被删除的流。或者有没有办法让CloudFormation退出创建尝试，等待并在整个堆栈上再次

2热度

1回答

Kinesis流/碎片 - 多个消费者

我已经阅读了关于kinesis碎片和多个消费者的一些问题，但我仍然不明白它是如何工作的。我的用例：我有一个只有一个碎片的kinesis流。我想要使用不同的lambda函数使用这个碎片，每个函数都是独立的。就像每个lambda函数都有自己的分片迭代器。可能吗？从同一个流/碎片中设置多个lambda消费者（基于流）读取？

-1热度

3回答

我们可以编写AWS Lambda函数来查询Kinesis Streams

我有Amazon Kinesis Streams，它具有所有的点击流数据，我们希望编写一个API来查询Kinesis Streams。我的计划是创建一个API网关，它调用AWS Lambda函数来查询Kinesis Streams并将其返回。是否可以使用Lambda查询Kinesis Streams，还是应该使用Kinesis Analytics和Lambda？

2热度

1回答

如何在Spark流应用程序中处理DynamoDB流

我想从Spark Streaming应用程序中使用DynamoDB流。 Spark流使用KCL从Kinesis读取。有一个lib让KCL能够从DynamoDB流中读取：dynamodb-streams-kinesis-adapter。但是有可能将这个lib插入spark？任何人都这样做？我正在使用Spark 2.1.0。我的备份计划是让另一个应用程序从DynamoDB流中读取Kinesis流

1热度

1回答

“<domain>”在以下示例HTTP POST中引用了什么？

“< domain>”在以下示例HTTP POST中引用了什么？当然，主机不应该字面上是“kinesis。< region>。< domain>”，但文章没有提及区域和域是什么具体。请为实际的“主机：”行提供几个字面示例。 POST/HTTP/1.1 Host: kinesis.<region>.<domain> Content-Length: Us

0热度

2回答

NoClassDefFoundError在hadoop上使用aws-kinesis的joda DateTimeFormat cloudera

我在hadoop（CDH 5.5.1）上运行aws kinesis时出现了一个奇怪的错误。我可以重现错误这个简单的类： import com.amazonaws.auth.AWSCredentials; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.kinesis.AmazonKine

0热度

1回答

API网关CORS HTTP 415

好吧，我已经遍布这些互联网寻找我的问题的一些见解;我可能已经通过超过80堆栈溢出线程RE api网关等，但他们似乎没有帮助或说话足够接近我的问题。我新的API网关和CORS，还是让我们看看我是否能表达一些我看到的问题：一个API网关代理设置到室壁运动流水滋润红移数据库。代理，流水，和红移网关启动并在隔离调用时的工作，但是从我们的客户的一个网站调用时，我们得到了一个错误如下： XMLHttpRe