ELK logstash过滤插件Grok的使用

Grok插件：如果采集的日志格式是非结构化的，可以写正则表 达式提取，grok是正则表达式支持的实现。 常用字段：

[root@localhost ~]# cat /usr/local/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns 
USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+

正则匹配模式语法格式：%{SYNTAX:SEMANTIC}

例如： %{IP:client}

 

 

---

这里是kiban内置对grok表达式测试的功能

请求的客户端ip 请求的方法 请求的uri  返回数据大小 相应时间

192.168.1.10 GET /index.html 15824 0.043

现在使用grok的内置正则匹配模式，怎么取出来?

IPV4 (?<![0-9])(?:(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])

%{IPV4:client_ip}

IPV4 内置正则表达式第一列的名称 冒号后面跟着的是你将匹配的结果保存在日志数据的字段名是什么，这个字段名会存在es里为我们在kibana里面去查询，所以这个字段要取名有意义

WORD \b\w+\b 匹配文本

再匹配，这里是uri

URIPATHPARAM %{URIPATH}(?:%{URIPARAM})?  匹配uri路径

 将数字配匹

NUMBER (?:%{BASE10NUM})

%{IPV4:ip} %{WORD:method} %{URIPATHPARAM:uri} %{NUMBER:bytes} %{NUMBER:durtion}

 

这里不使用grok做过滤

[root@localhost ~]# echo "192.168.1.10 GET /index.html 15824 0.043" >> /var/log/test.log

可以看到在Kibana里面meaasge还是保存了原始的字段

 

这行日志为非结构化的日志，就不利于我们去查询了，比如请求时间大于1S的请求，要进行优化处理。所以要将非结构化的日志转化为结构化的日志，将关键的信息转化为字段，这样就可以针对某个字段进行针对性查询。

[root@localhost ~]# cat /usr/local/logstash/conf.d/test.conf 
input {
  file {
    path => "/var/log/test.log"
  }
}

filter {
 grok {
   match => {
   "message" => "%{IPV4:client_ip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"
  } 
 } 
}

output {
  elasticsearch {
    hosts => ["192.168.179.102:9200"]
    index => "test-%{+YYYY.MM.dd}"
 }
}

[root@localhost ~]# echo "192.168.1.10 GET /login.html 12345 0.666" >> /var/log/test.log

 可以看到根据字段可以组合起来进行查询这就是做结构化日志最重要的目的