课题背景经过一学期的大数据导论学习后，我们突然接到了结业大作业——进行一次大数据分析项目的通知。刚刚学习了一些大纲类型的知识的我们自然是不知所措的，经过资料查阅后我们决定通过虚拟机搭建Hadoop集群进行伪分布式计算完成该项目。然后就开始了安装了20次虚拟...

部署kibana分析系统并连接es展现索引数据1.kibana分析系统简介Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与E...

使用filebeat简单收集日志1.filebeat原理与介绍filebeat收集日志的原理类似于tail -f命令，等待应用日志产生后，每隔30s将日志进行收集，收集完成后存放在es的索引库中，最后展示在kibana上当filebeat关闭后，nginx...

elasticsearch防脑裂配置脑裂产生的原因及现象：当公司有多个idc机房，并且有多个es集群节点，这些节点都分布在不同的机房，机房之间通过openvpn进行连接，机房1上有2个es节点，并且有1个是主节点，机房2上有2个es节点都是工作节点，当机房...

filebeat收集json格式的nginx日志1.为什么要收集json格式的日志类型由于nginx普通日志收集过来的日志内容都是存在一个字段中的值，我们想单独对日志中的某一项进行查询统计，比如我只想查看某个IP请求了我那些页面，一共访问了多少次，在普通的...

filebeat指定es创建索引的名称并在kibana上展示日志数据1.为什么要指定索引库名称由于一台机器上不止一个应用服务，比如web机器，上面一定会有tomcat、nginx、redis这种服务，如果我们不指定每个应用收集来的日志存放在es集群中的索引...

filebeat自定义索引名称环境准备IP服务192.168.81.210es+kibana192.168.81.220es+filebeat+nginx192.168.81.230filebeat+nginx1.配置filebeat使用自定义的索引名称我...

filebeat收集多个域名日志并创建不同索引1.为什么要针对不同的应用系统创建不同的索引公司生产环境中一台机器上一定会运行着多个域名的应用，web应用也是集群的方式，如果filebeat收集来的日志都是分散存储，且在es上建立的索引也都是分散的，这样不利...

filebeat收集错误日志并与普通日志并存只收集正常日志往往是不完整的，错误日志更需要收集起来1.配置filebeat收集error日志所有集群都按如下配置，其实就是增加了一个type和一个indexvim /etc/filebeat/filebeat....

filebeat收集json格式的tomcat日志公司中常用的web程序一般都是nginx和tomcat，tomcat也有access访问日志，输出和nginx类似，我们也将tomcat的日志输出成json格式，在配合filebeat进行收集展示1.部署t...