虚拟化容器,大数据,DBA,中间件,监控。
22 11月
应用指标数据采集并录入Elasticsearch仓库 - 运维笔记

为了进行数字化IT治理,需要对一些应用进程相关指标进行采集并入库。收集到的应用指标数据最好要进行ES入仓,入到Kafka里面,并通过Kibana可视化展示。 下面是应用指标数据进行ES入仓的请求说明...

作者:admin|分类:大数据|浏览:461
21 11月
ELK实时日志分析平台环境部署--完整记录

在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~ 概念介绍...

作者:admin|分类:大数据|浏览:392
20 11月
K8S部署ES集群 - 运维笔记

一、使用NFS配置持久化存储 1)在NFS服务器端(172.16.60.238)通过nfs创建es、filebeat共享目录 [root@k8s-harbor01 k8s]# mkdir -p /da...

作者:admin|分类:大数据|浏览:444
15 11月
基于云服务器docker搭建zookeeper集群

出现前言这里记录着本人采用云服务器搭建zookeeper集群的一些步骤及问题。提示:以下是本篇文章正文内容,下面案例可供参考一、搭建docker环境1.通过云服务自带的镜像直接使用。2.使用官方安装脚本自动安装。示例:curl -fsSL https://...

作者:admin|分类:大数据|浏览:499
15 11月
安装elasticsearch集群

认识elasticsearch最近在做一个关于spark整合Elasticsearch的项目,闲下在自己机器上安装了一下elasticsearch集群。关于elasticserarch,这里简单做一下介绍:它 是一个实时分布式搜索和分析引擎。它让你以前所未...

作者:admin|分类:大数据|浏览:431
15 11月
基于Tableau探索分析世界银行提供的关于科学技术的数据

要求对 CSE512: Data Visualization 完成探索性数据分析。内容数据选择数据来源:1960-2017年世界银行的数据。世界银行通过气候变化、经济、教育、环境、两性平等、卫生和科学和技术等指标跟踪全球人类发展,世界银行提供的数据包括有:...

作者:admin|分类:大数据|浏览:498
15 11月
Hadoop 保姆级教程 - 从安装到实践

课题背景经过一学期的大数据导论学习后,我们突然接到了结业大作业——进行一次大数据分析项目的通知。刚刚学习了一些大纲类型的知识的我们自然是不知所措的,经过资料查阅后我们决定通过虚拟机搭建Hadoop集群进行伪分布式计算完成该项目。然后就开始了安装了20次虚拟...

作者:admin|分类:大数据|浏览:535
15 11月
部署kibana分析系统并连接elasticsearch集群展现索引数据(八)

部署kibana分析系统并连接es展现索引数据1.kibana分析系统简介Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与E...

作者:admin|分类:大数据|浏览:468
15 11月
使用filebeat简单收集多个nginx应用服务器日志(一)

使用filebeat简单收集日志1.filebeat原理与介绍filebeat收集日志的原理类似于tail -f命令,等待应用日志产生后,每隔30s将日志进行收集,收集完成后存放在es的索引库中,最后展示在kibana上当filebeat关闭后,nginx...

作者:admin|分类:大数据|浏览:528
15 11月
elasticsearch防脑裂配置(十一)

elasticsearch防脑裂配置脑裂产生的原因及现象:当公司有多个idc机房,并且有多个es集群节点,这些节点都分布在不同的机房,机房之间通过openvpn进行连接,机房1上有2个es节点,并且有1个是主节点,机房2上有2个es节点都是工作节点,当机房...

作者:admin|分类:大数据|浏览:390