amazon-kinesis

0热度

1回答

Kinesis - 处理写入ProvisionedThroughputExceededException

我们将AWS Kinesis用作持久队列。 Kinesis拥有最多1000次写入/秒，每个分片总数限制为1M /秒。我们使用案例的80％低于限制。但是，有一些超过1M/s的峰值。为这些峰值预留更多写入容量是不划算的。有什么建议吗？让SDK处理ProvisionedThroughputExceededException重试？将事件写入临时位置并刷新一次达到1M？ ...？

1热度

1回答

室壁运动与λ - 解析数据

我下面这个教程从我的API网关将数据推送到室壁运动流： http://docs.aws.amazon.com/apigateway/latest/developerguide/integrating-api-with-aws-services-kinesis.html#api-gateway-get-and-add-records-to-stream 我有我的身体映射模板设置为..... {

1热度

1回答

接收器减少火花蒸汽的方法

对于使用kafka的Spark流式传输，我们有Directstream，它是无接收器的方法，并映射kafka分区来激发RDD分区。目前，我们有一个应用程序，我们使用Kafka Direct方法并在RDBMS中维护我们的偏移量，我们有类似的Kinesis吗？当我阅读spark-Kinesis集成的文档时，感觉就像检查点中存在差异。以下是我的一些问题是否使用kinesis流映射kinesis碎片到

0热度

1回答

如何将多个kinesis数据流合并为一个数据流？

我有数据从3个不同的服务器（3个数据流）来英寸是否有可能在kinesis消费者应用程序中合并这些数据（类型为update/upsert）并获取更新后的数据作为输出？我从流2,3具有的数据是依赖于流1。例如流1（ItemDetails） - {的itemId，ITEMNAME，itemdescription}，流 2（ItemtoCart） - {ItemId}，流3（Itemordered

0热度

1回答

使用Kinesis SDK访问DynamoDBStreams流

它可以通过Kinesis SDK访问由DynamoDBStreams服务定义的流吗？例如，使用C++，是有可能得到通过添加流信息，说 $ aws dynamodb update-table --stream-specification ... 与 Aws::Kinesis::KinesisClient::DescribeStream() ？（这将意味着“开关”的服务室壁运动目标据我所知

5热度

1回答

spark java.lang.AbstractMethodError在cloudera上失败

下面是我的POM文件。我对Cloudera的5.10 星火计划的火花运行期间写的火花与AWS流室壁运动 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.6.0</version> </dep

0热度

1回答

AWS Kinesis Stream返回“ProvisionedThroughputExceededException”时数据是否丢失？

我有一个在AWS中运行的数据迁移作业，它将数据发送到Kinesis Stream和一个Lambda函数，充当将数据写入DynamoDB的消费者（我将kinesis设置为触发器为lambda）。我的问题是当该室壁运动流开始打：写吞吐量突破（计数/请求） - 平均 - WriteProvisionedThroughputExceeded ，我看到上图上尖峰200个或300计数即使lambda消费者

0热度

1回答

AWS LAMBDA：Java的：室壁运动活动

我有麻烦找的什么，我试图做例子...... 我想创建Java中的lambda函数。我认为我总是使用Javascript来实现Lambda函数，但在这种情况下，我最终会重新使用已经用Java编写的应用程序逻辑，所以这很有意义。在过去，我已经编写了由Kinesis事件触发的JavaScript Lambda函数。超级简单，函数接收事件作为参数，做一些事情，瞧。我想用Java来做同样的事情。很简单：

0热度

1回答

Kinesis Firehose客户端putRecord抛出UnknownOperationException

我从某些源提取我的数据，现在想要将它提供给Kinesis Firehose传送流。我在amazonKinesisFirehoseClient.putRecord（putRecordRequest）上得到“状态码：400;错误代码：UnknownOperationException”。我的代码 while (data != null) { PutRecordRequest putRec

-1热度

1回答

在哪里把我的JDBC驱动程序文件

我试图按照此链接教程：https://github.com/awslabs/amazon-kinesis-connectors 虽然本教程没有提到的JDBC驱动程序红移的需要，但它没有指定放置驱动程序文件。目前，当我运行脚本时，我收到了缺少的JDBC驱动程序文件错误。