虚拟化容器,大数据,DBA,中间件,监控。
15 11月
kibana绘制日志收集系统仪表盘大屏(九)

kibana绘制日志收集系统仪表盘大屏1.kibana图形介绍kibana自带画图功能,可以对一个索引的不同指标进行画图,比如统计访问最多的10个ip、200状态码个数等等都可以通过kibana图形来展现统计的数据日志统计大屏2.制作访问网站前十个IP的图...

作者:admin|分类:大数据|浏览:411
15 11月
filebeat使用modules模板收集nginx日志(十)

filebeat使用modules收集nginx日志1.为什么要使用modules收集日志modules只是filebeat的一个小功能,由于像mysql、redis等这种日志无发输出成json格式,filebeat无法将收集来的普通日志转换为json格式...

作者:admin|分类:大数据|浏览:480
15 11月
filebeat使用module收集mysql慢查询日志(十一)

filebeat使用module收集mysql日志mysql主要收集慢查询日志和error日志1.安装mysql1.安装mysql[root@mysql ~]# yum -y install mariadb-server2.修改配置文件制定数据存放路径[r...

作者:admin|分类:大数据|浏览:369
15 11月
ELK收集多个docker容器日志(十二)

filebeat收集容器日志现在很多公司都是用docker容器来运行服务,一台机器上会有很多个docker,docker容器里面的日志也需要收集分析,filebeat也有docker容器的日志收集方案官方配置地址https://www.elastic.co...

作者:admin|分类:大数据|浏览:477
15 11月
配置logstash从redis读取filebeat收集的日志(上)

logstash读取redis缓存日志1.logstash从redis读取收集日志原理常规的日志收集方式都是由filebeat收集完直接输出给es集群,如果当后端应用访问量大,产生的日志也特别巨大,这时再由filebeat收集日志直接传输给es,会给es带...

作者:admin|分类:大数据|浏览:382
15 11月
优化logstash从redis中读取日志的配置(下)

优化logstash读取redis缓存日志配置紧接着配置logstash从redis读取filebeat收集的日志(上)进一步优化1.优化配置思路之前的logstash读取redis收集来的日志数据配置需要很多步骤,每次新加一个日志都特别繁琐没有优化前新增...

作者:admin|分类:大数据|浏览:427
15 11月
ELK日志系统终极架构

ELK终极架构1.ELK终极架构图最接近终极的架构图就是我们从redis中读取收集来的日志最后由logstash存储到es库,但是这个架构有个缺陷假如redis挂掉,我们就无法收集日志了redis单点问题,我们可以通过集群的方式来实现,但是redis的三种...

作者:admin|分类:大数据|浏览:347
15 11月
Prometheus+Grafana监控系统配合Cadvisor监控Docker容器

prometheus使用cadvisor监控docker容器1.cadvisor概述一般公司会有很多docker主机,那么就需要对docker进行监控了,docker监控可以采用docker stats配合shell命令来取值做监控,但是无法传递给prom...

作者:admin|分类:大数据|浏览:432
15 11月
Prometheus+Grafana全方位监控Kubernetes集群资源利用率

Prometheus+Grafana全方位监控Kubernetes集群文章目录Prometheus+Grafana全方位监控Kubernetes集群1.k8s监控指标2.k8s基础环境准备2.1.环境准备2.2.部署nfs作为prometheus存储2.3...

作者:admin|分类:大数据|浏览:378
15 11月
基于Kubernetes集群的Jenkins CI/CD版本上线流程部署

基于kubernetes平台的CICD持续集成文章目录基于kubernetes平台的CICD持续集成1.基于k8s集群的Jenkins持续集成2.将Jenkins部署在k8s集群2.1.编写Jenkins namespace文件2.2.编写Jenkins...

作者:admin|分类:大数据|浏览:362