虚拟化容器,大数据,DBA,中间件,监控。

filebeat同时收集错误日志与普通日志并存(六)

15 11月
作者:admin|分类:大数据

filebeat收集错误日志并与普通日志并存

只收集正常日志往往是不完整的,错误日志更需要收集起来

1.配置filebeat收集error日志

所有集群都按如下配置,其实就是增加了一个type和一个index

vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["www"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/bbs_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["bbs"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/blog_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["blog"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
    - index: "nginx-www-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "www"

    - index: "nginx-bbs-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "bbs"

    - index: "nginx-blog-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "blog"

    - index: "nginx-error-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"

systemctl restart filebeat

2.查看es是否产生error索引

已经生成

在这里插入图片描述

3.在kibana上关联es索引

点击Managerment—索引模式—创建索引

在这里插入图片描述

创建成功

在这里插入图片描述

4.在kibana上统计错误日志

点击Discovery—选择索引即可查看,根据自己的需求进行统计即可
在这里插入图片描述

浏览405 评论0
返回
目录
返回
首页
filebeat收集json格式的tomcat日志(七) filebeat将收集来的日志存储到自定义名称的es索引(四)