logstash读取redis缓存日志1.logstash从redis读取收集日志原理常规的日志收集方式都是由filebeat收集完直接输出给es集群，如果当后端应用访问量大，产生的日志也特别巨大，这时再由filebeat收集日志直接传输给es，会给es带...

优化logstash读取redis缓存日志配置紧接着配置logstash从redis读取filebeat收集的日志（上）进一步优化1.优化配置思路之前的logstash读取redis收集来的日志数据配置需要很多步骤，每次新加一个日志都特别繁琐没有优化前新增...

ELK终极架构1.ELK终极架构图最接近终极的架构图就是我们从redis中读取收集来的日志最后由logstash存储到es库，但是这个架构有个缺陷假如redis挂掉，我们就无法收集日志了redis单点问题，我们可以通过集群的方式来实现，但是redis的三种...

prometheus使用cadvisor监控docker容器1.cadvisor概述一般公司会有很多docker主机，那么就需要对docker进行监控了，docker监控可以采用docker stats配合shell命令来取值做监控，但是无法传递给prom...

Prometheus+Grafana全方位监控Kubernetes集群文章目录Prometheus+Grafana全方位监控Kubernetes集群1.k8s监控指标2.k8s基础环境准备2.1.环境准备2.2.部署nfs作为prometheus存储2.3...

基于kubernetes平台的CICD持续集成文章目录基于kubernetes平台的CICD持续集成1.基于k8s集群的Jenkins持续集成2.将Jenkins部署在k8s集群2.1.编写Jenkins namespace文件2.2.编写Jenkins...

hive的配置：hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；hive.exec.script.wrapper：hive调用脚本时的包装器，默认是nu...

配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件 参数名说明clientPort客户端连接server的端口，即对外服务端口，一般设置为2181吧。dataDir存储快照文件snapshot的目录。默认情况下，事务日志也...

配置文件详解：tickTime：基本事件单元，以毫秒为单位，这个时间作为 Zookeeper 服务器之间或客户端之间维持心跳的时间间隔dataDir：存储内存中数据库快照的位置，顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeepe...

$ cat conf/livy-env.sh#!/usr/bin/env bashSPARK_HOME=/opt/sparkHADOOP_CONF_DIR=/etc/hadoop/conf$ cat conf/livy.conflivy.server.se...