prometheus监控k8s  

1.Prometheus 是什么

Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥 有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会 （CNCF），成为继Kubernetes之后的第二个托管项目。

官方链接：https://prometheus.io/                 托管git地址：  https://github.com/prometheus

2.Prometheus组成及架构

• Prometheus Server：收集指标和存储时间序列数据，并提供查询接口

• ClientLibrary：客户端库

• Push Gateway：短期存储指标数据。主要用于临时性的任务

• Exporters：采集已有的第三方服务监控指标并暴露metrics

• Alertmanager：告警

• Web UI：简单的Web控制台,展示功能较弱一般用来调试监控函数PromSQL，一般用grafana替代展示

• TSDB：时序数据库，用来存储监控数据。

3.数据模型

Prometheus将所有数据存储为时间序列；具有相同度量名称以及标签属于同一个指标。

每个时间序列都由度量标准名称和一组键值对（也成为标签）唯一标识。

时间序列格式：

<metric_name>{<lable_name>=<lable_value>, ...}

示例：api_http_requests_total{method="POST", handler="/messages"}

4.作业和示例

实例：可以抓取的目标称为实例（Instances）

作业：具有相同目标的实例集合称为作业（Job）

scrape_configs:

  - job_name: 'prometheus'

    static_configs:

    - targets: ['localhost:9090']

  - job_name: 'node'

    static_configs:

    - targets: ['192.168.1.10:9090']

5.K8S监控指标

Kubernetes本身监控

• Node资源利用率 

• Node数量 • Pods数量（Node）

• 资源对象状态

Pod监控

• Pod数量（项目）

• Pod状态

• 容器资源利用率

• 应用程序

服务发现： https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config

6.在K8S中部署Prometheus+Grafana

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/prometheus

https://grafana.com/grafana/download

mkdir prometheus && cd prometheus

部署Prometheus

prometheus-service.yaml

prometheus-statefulset.yaml

prometheus-configmap.yaml

prometheus-rbac.yaml

prometheus-rules.yaml

部署node-exporter

node-exporter-service.yaml

node-exporter-ds.yml

浏览器 访问 nodeIp:30090

部署grafana

注意：为了数据的正常采集 务必保证集群间的时间同步

grafana.yaml

使用 node1-ip:30007 访问grafana

默认登录账号密码：admin/admin

登录后要求更新密码

展示监控数据 以下步骤，install grafana--》add data source---》new dashboard --》add users---》exporter plugin repository

step1：install grafana 已经完成。

step2：add data source

url 设置为 http://service_name:service_port,其他都默认然后保存

step 3：

推荐模板：

• 集群资源监控：3119 

• 资源对象状态监控 ：6417

• 工作节点监控 ：8919

部署 kube-mertric-state

kube-state-metrics-rbac.yamlkube-state-metrics-service.yamlkube-state-metrics-deployment.yaml

集群资源监控：3119 

资源对象状态监控 ：6417

工作节点监控

使用自定义json   ：K8S工作节点监控-20191219.json

上传完json之后import

7.在K8S中部署Alertmanager

1. 部署Alertmanager

2. 配置Prometheus与Alertmanager通信

3. 配置告警

• prometheus指定rules目录

• configmap存储告警规则

• configmap挂载到容器rules目录

• 增加alertmanager告警配置

alertmanager-pvc.yamlalertmanager-service.yamlalertmanager-configmap.yamlalertmanager-deployment.yaml

其中alertmanager-configmap.yaml 中定义了 发件箱和 收件箱的信息，需要自定义设置一下

测试告警

修改 prometheus-rules.yaml 定义的磁盘使用率告警规则

将node节点根分区 使用默认大于80%告警 改为 大于40%

手动check 下 node1 和node 2 的 根分区使用率

node1  47%

node2  36%

重新应用配置

kubectl apply -f prometheus-rules.yaml

重建应用prometheus

kubectl delete pod prometheus-0 -n kube-system

打开 俺的 qq邮箱于是乎 收到了 磁盘告警的邮件。

8.Prometheus告警状态

• Inactive：这里什么都没有发生。

• Pending：已触发阈值，但未满足告警持续时间

• Firing：已触发阈值且满足告警持续时间。警报发送给接受者。

9.Prometheus告警收敛

分组（group）：将类似性质的警报分类为单个通知

抑制（Inhibition）：当警报发出后，停止重复发送由此警报引发的其他警报

静默（Silences）：是一种简单的特定时间静音提醒的机制

10.Prometheus一条告警怎么触发的？

posted @      2020-03-09 09:12  benjamin杨  阅读(      5315)  评论(      2)  编辑  收藏  举报

刷新评论刷新页面返回顶部