aws-kinesis-firehose

0热度

1回答

我有一个AWS IoT规则将传入的JSON发送到Kinesis Firehose。从我的物联网发布的JSON数据是全部在一行上 - 例如： {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} 在管理界面的IOT测试“测试”部分允许你发布的消息，默认为以下（注格式化多-line JSON）： { "message":

0热度

2回答

将Kinesis中的数据写入S3

我正在使用AWS SDK从将数据发布到Kinesis流的Java应用程序写入数据。使用下面的代码一次批量完成10条记录; // Convert to JSON object, and then to bytes... ObjectWriter ow = new ObjectMapper().writer().withDefaultPrettyPrinter(); S

1热度

1回答

微服务架构中关注点的分离

我有一些插在我们电子商务平台上的微服务。今天，我们有我们的微服务破碎为： - 客户服务 - 为了服务 - 送货服务 - ... 对于例如，当一个新的客户加入到电子商务或者有人的地方和秩序，它使webhook为我们的微服务之一，只是得到的信息和转储firehose/S3。我的问题是：维护将数据转储到处理特定主题（客户，订单等）的分离的微服务上的函数会更好，还是创建另一个名为“notificati

0热度

2回答

Kinesis Firehose到s3：将数据传送到s3路径中的错误小时

我正在使用Kinesis Firehose缓冲物联网数据，并将其写入s3。流水写入缓存格式s3://bucket.me.com/YYYY/MM/DD/HH 的数据，在10进来到S3：59A可能会被流水缓冲，而不是写出来的，直到11：00A（s3://bucket.me.com/2017/03/09/11）。问题是，当为雅典娜创建分区时，小时10的分区将不包含小时10的所有数据，因为它位于小时11

0热度

2回答

使用AWS Kinesis进行大文件上传

我的客户端有一项存储大量文件的服务，如视频或声音文件。该服务运行良好，但看起来像长期文件存储是一个相当大的挑战，我们希望使用AWS来存储这些文件。问题在于，客户想要使用AWS kinesis将我们的服务器中的每个文件传输到AWS。这可能吗？我们可以使用该服务传输文件吗？有很多视频文件，我们每天都收到越来越多的视频文件。而且每个文件都比较大。我们也想将文件的一些细节保存到dynamoDB中，我们

1热度

1回答

使用kinesis流和流水线对流数据进行排序

对于我近期实时处理大量数据的项目，我有一个架构困境。因此，这里是目前的架构图：这里是我的想法的解释，这使我那张照片：当API网关接收它把数据流中的请求（这是因为我的应用 - “射后不理的性质）That's how I came up to that conclusion，输入数据在此基础上保证了我正确的顺序一个特定的请求属性碎片分离。然后，我有哪管它一个lambda用于验证输入和异常检测，这

0热度

1回答

室壁运动流水负载CSV数据到红移

我使用的Kinesis流水处理数据到红移，我试图既Json的和CSV格式。 JSON格式工作正常，我和数据是越来越加载到红移表。 COPY命令用于JSON： COPY products_json FROM 'S3：//文件夹名/' CREDENTIALS 'aws_iam_role = ARN：AWS：IAM :::角色/' 清单JSON '自动'; CLI命令把记录： AWS流水把记录--del

0热度

2回答

Kinesis Firehose Putrecordbatch示例

我正在寻找一个使用putrecordbatch将多条记录发送到kinesis流的示例。我目前使用putrecord命令以下列方式将记录发送到kinesis流。 aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record ='Data =“{\”productid \“：1，\”product

0热度

1回答

Kinesis代理不发送记录到流

我已经构建了一个Kinesis Firehose流来将数据推送到红移，并试图使用kinesis代理从EC2实例推送数据。 Firehose Stream能够解析记录，但不能识别流水线正在收到以下java错误。 com.amazon.kinesis.streaming.agent.tailing.AsyncPublisher [ERROR] AsyncPublisher[kinesis:csvto

0热度

1回答

谷歌地图的缩放级别迁移V2至V3

我移植了一块谷歌地图代码在JavaScript从V2到V3 下V2片显示了中心的地图放大，所以你可以看到街道名称和具体细节 var mapG = new GMap(document.getElementById("gmmap")); var point = new GLatLng(52.6461049, 6.5583690); mapG.centerAndZoom(point, 3); 我