amazon-kinesis

3热度

1回答

室壁运动流与在谷歌Dataproc空记录星火1.6.1 Hadoop的2.7.2

我试图连接到谷歌从亚马逊Dataproc的Kinesis流，但我只得到空RDDS。 Command: spark-submit --verbose --packages org.apache.spark:spark-streaming-kinesis-asl_2.10:1.6.2 demo_kinesis_streaming.py --awsAccessKeyId XXXXX --awsSecr

0热度

1回答

如何在iOS客户端c中基于AWS登录凭据发布数据到kinesis？

我想将用户位置数据发布到Amazon Kinesis服务。我不想使用认知。我有密钥和访问密钥。但我不知道如何登录亚马逊并发布数据到kinesis。将数据发布到kinesis流似乎很容易。我提到亚马逊文件， http://docs.aws.amazon.com/mobile/sdkforios/developerguide/kinesis.html 但如何发送密钥，访问密钥和设置区域之前发送数据到亚

1热度

1回答

AWS室壁运动没有返回记录

我有以下一段代码来获取 def getSample(accessKey: String, secretKey: String, streamName: String, size: Int, endpoint: String, region: String): Unit = { var client=getKinesisClient(accessKey, secretKey, endpo

0热度

2回答

无法使用可靠的模块创建aws kinesis流...！

我试图用ansible创建AWS室壁运动流，我得到了一些例子模块片段从here 我修改的摘录kinesis.yml就是在这里创造室壁运动在特定区域流： - hosts: localhost connection: local gather_facts: no vars: #aws region to create kinesis region: ap-so

0热度

2回答

AWS Kinesis Firehose - 使用索引旋转（Elasticsearch）

我建立了一个新的AWS Kinesis Firehose流，我想每周创建一个新索引。为此，我应该在配置流时使用Index Rotation设置。但是，我是否必须在下周即将到来的每个周末都有新的指数？如果没有（希望不是），Firehose如何知道要使用哪种映射？它是否使用我在Index设置中指定的索引中定义的映射？更多的，可以说我有旧数据，我可以让Firehose根据我的旧数据中指定的日期创

-1热度

1回答

javac错误：“找不到符号”

我想编译一个EC2实例上的java文件，并且遇到了问题。我有几个JAR文件以及包含在classpath中的文件。这个例子是一个StockTrade.java（这是一个股票交易对象），它完全没有问题地编译。在同一个目录中，有StockTradeGenerator.java，它将创建StockTrade对象。当我尝试编译它时，它告诉我它找不到StockTrade类（尽管它处于已编译的同一目录中）。具体

9热度

1回答

从MySQL二进制日志流数据到Kinesis

我们在遗留系统中有一个写入密集型表（在AWS RDS MySQL上），我们希望将该表中的每个写入事件（插入或更新）都流到kinesis。这个想法是创建一个管道来预热缓存并更新搜索引擎。目前我们使用基本上使用SQL的基本轮询体系结构来完成这项工作，但理想的做法是使推式体系结构直接从事务日志中读取事件。有人试过吗？任何建议的架构？

0热度

2回答

Spark Streaming 1.6.1不适用于Kinesis asl 1.6.1和asl 2.0.0-preview

我试图用Kinesis在EMR上运行Spark流作业。 Spark 1.6.1和Kinesis ASL 1.6.1。编写一个简单的示例wordcount示例。 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kinesis-asl_2.10</artifactId>

1热度

2回答

如何将键值格式的日志文件转换为红移（来自S3或直接应用服务器）

我有我的日志键值格式。这些键值对可以针对不同的日志进行更改。想要对它进行分析..因为它是没有结构的思想，我应该把dynamodb，但然后分析红移更好。我也可能不必将所有键值保存到红移中，但这是可选的。我正在考虑的几个选项：将日志放入S3。然后使用复制命令;但我找不到如何在COPY命令中将键值转换为JSON格式的方法，因为复制只需要json或csv！使用Kinesis Stream在流上获取日志

6热度

3回答

Amazon KCL检查点和修剪Horizon

AWS KCL库中的检查点和修剪如何相关？文档页面处理启动，关机和节流说：默认情况下，KCL开始从流，其是最近添加的记录尖阅读记录。在此配置中，如果数据生成应用程序在任何接收记录处理器正在运行之前向流添加记录，则记录处理器在启动后不会读取记录。要改变记录处理器的行为，以便它总是从流的开始读取数据，设置以下值在属性文件中为你的亚马逊的Kinesis流的应用： initialPosi