filebeat收集容器日志

现在很多公司都是用docker容器来运行服务，一台机器上会有很多个docker，docker容器里面的日志也需要收集分析，filebeat也有docker容器的日志收集方案

官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html

1.部署docker

1.安装docker
[root@docker ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
[root@docker ~]# sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
[root@docker ~]# yum -y install docker-ce
[root@docker ~]#  tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}
EOF
{
  "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}


2.启动docker
[root@docker ~]# systemctl start docker

3.运行一个nginx容器
[root@docker ~]# docker run -d -p 888:80 nginx

4.查看容器日志路径，这个日志就是容器里面程序的日志
[root@docker ~]# docker inspect compassionate_mayer | grep log
        "LogPath": "/var/lib/docker/containers/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb-json.log",

2.配置filebeat收集单个docker容器日志

2.1.配置filebeat

1.配置filebeat
[root@docker /etc/filebeat]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers.ids:
    - '7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb'			#填写容器的id

output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
  index: "docker-nginx-%{+yyyy.MM.dd}"
  
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true

2.重启filebeat
[root@docker /etc/filebeat]# systemctl restart filebeat.service

2.2.查看es是否产生了索引

2.3.kibana关联es上的索引

点击Managerment—创建索引

2.4.查看收集来的日志

点击Discovery—选择索引

这次收集的docker容器日志不是那么细分的，虽然这个日志也是json格式，但是docker默认他们放在了一个value里

格式化后的日志

3.配置filebeat收集多个容器日志

3.1.运行多个docker

[root@docker ~]# docker run -d -p 999:80 nginx
[root@docker ~]# docker run -d -p 888:80 nginx

3.2.配置filebeat

[root@docker ~]# grep -Ev '#|^$' /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers:
    path: "/var/lib/docker/containers"			#docker容器日志的路径
    ids:
      - "*"							#如果只想收集一个容器的日志，就写一个容器的id号，如果想收集所有容器的日志则写*
      
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
  index: "docker-nginx-%{+yyyy.MM.dd}"
  
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true

3.3.产生日志

ab -c 100 -n 5672 http://www.jiangxl.com:999/
ab -c 100 -n 1000 http://www.jiangxl.com:888/

3.4.查看es索引是否增加数据

已经增加

3.5.kibana关联es索引

3.6.查看收集来的日志是不是多个容器的

已经是不同容器的日志了