Amazon Web Services - S3 - Logstash或Lambda将数据导入Elasticsearch？

我的问题将是一个亲/一个。我希望将数据从Amazon S3传递到Elasticsearch，并考虑两种选择：通过Logstash或通过Lambda进行通道传输。哪一个会是更快/更容易/更有弹性的解决方案，为什么？有没有人有任何经验？Amazon Web Services - S3 - Logstash或Lambda将数据导入Elasticsearch？

谢谢！

来源

2016-07-05 lte__

你肯定拉姆达标签？它比lambda亚马逊服务更适合编程语言中的lambda – baudsp

好吧，它叫做Lambda，虽然我理解了这种混淆。 –

在编程语言中，lambda标签是关于lambda的。所以你问题中的lambda标签是误导性的。并且有一个标签[aws-lambda]（http://stackoverflow.com/questions/tagged/aws-lambda） – baudsp

声明：我的经验仅限于Logstash。

使用logstash，您必须使用logstash安装和配置来处理服务器。但是你不必编写任何代码，并且你有插件准备好处理连接。
如果您没有修改数据，则配置非常简单。如果你有修改Logstash有不同的插件来做不同的操作。
Logstash documentation

从我了解AWS-LAMBDA，你会不会来管理服务器和应用程序，但你必须写所有的代码，包括连接到S3和Elasticsearch。

来源

2016-07-05 13:54:08 baudsp

到目前为止，AWS不支持自定义logstash服务模块。所以就像你说的，我们有两种方式：

logstash 优点：你可以利用的所有logstash功能和过滤器日志航运利弊流行的标准工具：您需要设置和EC2机运行logstash代理。
Lambda函数优点：不需要服务器设置，我也相信没有额外的成本。缺点：你需要编写的代码从S3读取和写入ElasticSearch

我也碰到过这样的拉姆达函数，它这个标准运费。 https://github.com/arithmetric/lambda-stash

看起来很有希望，但似乎不支持logstash过滤器

来源

2016-11-29 06:59:44

Amazon Web Services - S3 - Logstash或Lambda将数据导入Elasticsearch？

回答

相关问题