使用弹性搜索与RabbitMQ

Question

我有一个RabbitMQ队列，可以获取需要传输给Elastic Search的一些文档。

如何创建弹性搜索作为消费者，以便ES将消费者作为文档队列执行操作。

可能的选项：

1. 使用RabbitMQ的河？
2. 使用RabbitMQ插件？ （如何操作）
3. 其他？

有人可以发表一个例子吗？

Answer 1

在您的ELK创建配置文件/etc/logstash/conf.d/anyfile.conf

input { 
    rabbitmq { 
     host => 'rabbit.example.com' 
     queue => 'my_queue_name' 
     exchange => "my_exchange_name" 
     key => 'my_logs' 
     durable => true 
    } 
} 
output { 
    elasticsearch { 
     host => "elk.example.com" 
    } 
} 

Answer 2

既然你问了RabbitMQ river，这里有一个例子，但是应该注意的是rivers will be deprecated soon（即截至ES 1.5），另一个由Prameswar Lal使用Logstash的解决方案将是首选。

curl -XPOST localhost:9200/_river/custom_river_name/_meta -d '{ 
    "type" : "rabbitmq", 
    "rabbitmq" : { 
     "host" : "localhost", 
     "port" : 5672, 
     "user" : "guest", 
     "pass" : "guest", 
     "vhost" : "/", 
     "queue" : "elasticsearch", 
     "exchange" : "elasticsearch", 
     "routing_key" : "elasticsearch", 
     "exchange_declare" : true, 
     "exchange_type" : "direct", 
     "exchange_durable" : true, 
     "queue_declare" : true, 
     "queue_bind" : true, 
     "queue_durable" : true, 
     "queue_auto_delete" : false, 
     "heartbeat" : "30m", 
     "qos_prefetch_size" : 0, 
     "qos_prefetch_count" : 10, 
     "nack_errors" : true 
    }, 
    "index" : { 
     "bulk_size" : 100, 
     "bulk_timeout" : "10ms", 
     "ordered" : false, 
     "replication" : "default" 
    } 
}