虚拟化容器,大数据,DBA,中间件,监控。
15 11月
filebeat收集json格式的nginx程序日志(二)

filebeat收集json格式的nginx日志1.为什么要收集json格式的日志类型由于nginx普通日志收集过来的日志内容都是存在一个字段中的值,我们想单独对日志中的某一项进行查询统计,比如我只想查看某个IP请求了我那些页面,一共访问了多少次,在普通的...

作者:admin|分类:大数据|浏览:364
15 11月
filebeat将收集的日志存储在指定es索引库并在kibana上展示日志数据(三)

filebeat指定es创建索引的名称并在kibana上展示日志数据1.为什么要指定索引库名称由于一台机器上不止一个应用服务,比如web机器,上面一定会有tomcat、nginx、redis这种服务,如果我们不指定每个应用收集来的日志存放在es集群中的索引...

作者:admin|分类:大数据|浏览:495
15 11月
filebeat将收集来的日志存储到自定义名称的es索引(四)

filebeat自定义索引名称环境准备IP服务192.168.81.210es+kibana192.168.81.220es+filebeat+nginx192.168.81.230filebeat+nginx1.配置filebeat使用自定义的索引名称我...

作者:admin|分类:大数据|浏览:460
15 11月
filebeat收集多个域名网站日志并存储到不同的es索引库(五)

filebeat收集多个域名日志并创建不同索引1.为什么要针对不同的应用系统创建不同的索引公司生产环境中一台机器上一定会运行着多个域名的应用,web应用也是集群的方式,如果filebeat收集来的日志都是分散存储,且在es上建立的索引也都是分散的,这样不利...

作者:admin|分类:大数据|浏览:478
15 11月
filebeat同时收集错误日志与普通日志并存(六)

filebeat收集错误日志并与普通日志并存只收集正常日志往往是不完整的,错误日志更需要收集起来1.配置filebeat收集error日志所有集群都按如下配置,其实就是增加了一个type和一个indexvim /etc/filebeat/filebeat....

作者:admin|分类:大数据|浏览:407
15 11月
filebeat收集json格式的tomcat日志(七)

filebeat收集json格式的tomcat日志公司中常用的web程序一般都是nginx和tomcat,tomcat也有access访问日志,输出和nginx类似,我们也将tomcat的日志输出成json格式,在配合filebeat进行收集展示1.部署t...

作者:admin|分类:大数据|浏览:393
15 11月
kibana绘制日志收集系统仪表盘大屏(九)

kibana绘制日志收集系统仪表盘大屏1.kibana图形介绍kibana自带画图功能,可以对一个索引的不同指标进行画图,比如统计访问最多的10个ip、200状态码个数等等都可以通过kibana图形来展现统计的数据日志统计大屏2.制作访问网站前十个IP的图...

作者:admin|分类:大数据|浏览:422
15 11月
filebeat使用modules模板收集nginx日志(十)

filebeat使用modules收集nginx日志1.为什么要使用modules收集日志modules只是filebeat的一个小功能,由于像mysql、redis等这种日志无发输出成json格式,filebeat无法将收集来的普通日志转换为json格式...

作者:admin|分类:大数据|浏览:493
15 11月
filebeat使用module收集mysql慢查询日志(十一)

filebeat使用module收集mysql日志mysql主要收集慢查询日志和error日志1.安装mysql1.安装mysql[root@mysql ~]# yum -y install mariadb-server2.修改配置文件制定数据存放路径[r...

作者:admin|分类:大数据|浏览:383
15 11月
ELK收集多个docker容器日志(十二)

filebeat收集容器日志现在很多公司都是用docker容器来运行服务,一台机器上会有很多个docker,docker容器里面的日志也需要收集分析,filebeat也有docker容器的日志收集方案官方配置地址https://www.elastic.co...

作者:admin|分类:大数据|浏览:490