将ntopng日志导出到logstash

Question

我知道ntopng可以直接放到elasticsearch上，但是我的老板想用logtash作为图层将日志传输到elasticsearch。

我尝试了很多次，但失败了。

ntopng记录，如：

{"index": {"_type": "ntopng", "_index": "ntopng-2016.08.23"}} 
{ "@timestamp": "2016-08-23T01:49:41.0Z", "type": "ntopng", "IN_SRC_MAC": "04:2A:E2:0D:62:FB", "OUT_DST_MAC": "00:16:3E:8D:B7:E4", "IPV4_SRC_ADDR": "14.152.84.14", "IPV4_DST_ADDR": "xxx.xxx.xxx", "L4_SRC_PORT": 34599, "L4_DST_PORT": 53, "PROTOCOL": 17, "L7_PROTO": 5, "L7_PROTO_NAME": "DNS", "IN_PKTS": 15, "IN_BYTES": 1185, "OUT_PKTS": 15, "OUT_BYTES": 22710, "FIRST_SWITCHED": 1471916981, "LAST_SWITCHED": 1471916981, "SRC_IP_COUNTRY": "CN", "SRC_IP_LOCATION": [ 113.250000, 23.116699 ], "DST_IP_COUNTRY": "VN", "DST_IP_LOCATION": [ 105.849998, 21.033300 ], "NTOPNG_INSTANCE_NAME": "ubuntu", "INTERFACE": "ens192", "DNS_QUERY": "cpsc.gov", "PASS_VERDICT": true } 

Logstash配置：

input { 
    tcp { 
    port => 5000 
    codec => json 
    } 
} 
filter{ 
    json{ 
     source => "message" 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
} 
stdout{ codec => rubydebug } 
} 

感谢

Answer 1

由于ntopng日志已经被Elasticsearch预计大部分格式，你不需要使用elasticsearch输出，但可以像这样直接使用http输出。不需要Logstash解析JSON，只需将原始批量命令转发给ES即可。

虽然有一个问题：我们需要在第二行后添加换行符，否则ES将拒绝批量调用。我们可以使用mutate/update过滤器来实现此目的，该过滤器在message之后添加逐字换行符。试试看，这将起作用。

input { 
    tcp { 
    port => 5000 
    codec => multiline { 
     pattern => "_index" 
     what => "next" 
    } 
    } 
} 
filter{ 
    mutate { 
    update => {"message" => "%{message} 
"} 
    } 
} 
output { 
    http { 
     http_method => "post" 
     url => "http://localhost:9200/_bulk" 
     format => "message" 
     message => "%{message}" 
    } 
}