k8s 部署 - k8s 中 Prometheus（普罗米修斯）的大屏展示 Grafana + 监控报警

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [mp.weixin.qq.com](https://mp.weixin.qq.com/s/xHgZ2YHEBT9QxIFiWkWLQQ)

> 到现在我们已经创建好了 Prometheus 监控，虽然 prometheus 中也有图表展示，但是我们更推荐使用 Grafana 来进行数据展示，以及监控触发阈值、触发报警之后，通过什么方式来实现报警。

1、查看 Prometheus（普罗米修斯）中的监控项
---------------------------

点击`Status`下面的`Rules`菜单，即可查看`Prometheus`的监控项；

![](http://kmgy.top:9000/image/2022/10/17/202210171529403.png)

那么如果我们想修改`Prometheus`监控项的话怎么办呢？如何进行修改，配置文件在哪里呢？

```
[root@node1 ~]# cd prometheus-operator/templates/prometheus/rules
[root@node1 rules]# ls
alertmanager.rules.yaml  kube-apiserver.rules.yaml                  kubernetes-apps.yaml       kube-scheduler.rules.yaml  prometheus-operator.yaml
etcd.yaml                kube-prometheus-node-alerting.rules.yaml   kubernetes-resources.yaml  node-network.yaml          prometheus.rules.yaml
general.rules.yaml       kube-prometheus-node-recording.rules.yaml  kubernetes-storage.yaml    node.rules.yaml
k8s.rules.yaml           kubernetes-absent.yaml                     kubernetes-system.yaml     node-time.yaml
[root@node1 rules]#

```

上面的目录中显示的就是`prometheus`默认的监控项目，想修改的话直接在此修改即可，修改完毕之后使用如下命令进行重新加载即可；

```
# 比如我们修改了etcd的监控项，也就是修改了etcd.yaml的配置文件，使用如下命令更新即可
[root@node1 ~]# pwd
/root
[root@node1 ~]# helm upgrade monitor ./prometheus-operator/ -f ./prometheus-operator/templates/prometheus/rules/etcd.yaml

```

也可以直接查看`prometheus`有多少监控规则；

```
[root@node1 ~]# kubectl get PrometheusRule
NAME                                                              AGE
monitor-prometheus-operato-alertmanager.rules                     17h
monitor-prometheus-operato-etcd                                   17h
monitor-prometheus-operato-general.rules                          17h
monitor-prometheus-operato-k8s.rules                              17h
monitor-prometheus-operato-kube-apiserver-availability.rules      17h
monitor-prometheus-operato-kube-apiserver-slos                    17h
monitor-prometheus-operato-kube-apiserver.rules                   17h
monitor-prometheus-operato-kube-prometheus-general.rules          17h
monitor-prometheus-operato-kube-prometheus-node-recording.rules   17h
monitor-prometheus-operato-kube-scheduler.rules                   17h
monitor-prometheus-operato-kube-state-metrics                     17h
monitor-prometheus-operato-kubelet.rules                          17h
monitor-prometheus-operato-kubernetes-apps                        17h
monitor-prometheus-operato-kubernetes-resources                   17h
monitor-prometheus-operato-kubernetes-storage                     17h
monitor-prometheus-operato-kubernetes-system                      17h
monitor-prometheus-operato-kubernetes-system-apiserver            17h
monitor-prometheus-operato-kubernetes-system-controller-manager   17h
monitor-prometheus-operato-kubernetes-system-kubelet              17h
monitor-prometheus-operato-kubernetes-system-scheduler            17h
monitor-prometheus-operato-node-exporter                          17h
monitor-prometheus-operato-node-exporter.rules                    17h
monitor-prometheus-operato-node-network                           17h
monitor-prometheus-operato-node.rules                             17h
monitor-prometheus-operato-prometheus                             17h
monitor-prometheus-operato-prometheus-operator                    17h
[root@node1 ~]#

```

2、查看 Prometheus 中的报警项
---------------------

点击`Alerts`即可查看，绿色表示正常状态，黄色表示等待报警状态，红色表示已经触发报警的状态，如下图；

![](http://kmgy.top:9000/image/2022/10/17/202210171529359.jpeg)

3、通过 Grafana 展示 Prometheus 数据
-----------------------------

> 我们这里也使用 ingress-nginx 的方式来访问，那么就需要创建一下，看看如何配置吧。
>
> PS：如果说最后监控显示有问题，请确认是否是最新版，有的老版本的 k8s 和新版本的差距还是挺大的，不兼容的可能性颇大。

### （1）获取服务名

```
[root@node1 ~]# kubectl get svc 
NAME                                      TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
alertmanager-operated                     ClusterIP   None             <none>        9093/TCP,9094/TCP,9094/UDP   17h
kubernetes                                ClusterIP   10.233.0.1       <none>        443/TCP                      8d
monitor-grafana                           ClusterIP   10.233.149.179   <none>        80/TCP                       17h
monitor-kube-state-metrics                ClusterIP   10.233.141.38    <none>        8080/TCP                     17h
monitor-prometheus-node-exporter          ClusterIP   10.233.128.202   <none>        9100/TCP                     17h
monitor-prometheus-operato-alertmanager   ClusterIP   10.233.4.203     <none>        9093/TCP                     17h
monitor-prometheus-operato-operator       ClusterIP   10.233.59.244    <none>        8080/TCP,443/TCP             17h
monitor-prometheus-operato-prometheus     ClusterIP   10.233.180.46    <none>        9090/TCP                     17h
prometheus-operated                       ClusterIP   None             <none>        9090/TCP                     17h
springboot-web-demo                       ClusterIP   10.233.16.229    <none>        80/TCP                       7d19h
springboot-web-svc                        ClusterIP   None             <none>        80/TCP                       8d
[root@node1 ~]# kubectl get svc monitor-grafana -o yaml
apiVersion: v1
kind: Service
metadata:
# ---省略部分信息---
# ---省略部分信息---
    time: "2022-05-04T16:55:04Z"
  name: monitor-grafana
  namespace: default
  resourceVersion: "825149"
  selfLink: /api/v1/namespaces/default/services/monitor-grafana
  uid: 4bf86224-644b-4f3a-9ff6-6d082fdebb5e
spec:
  clusterIP: 10.233.149.179
# ---省略部分信息---
# ---省略部分信息---
[root@node1 ~]#

```

从上面可以看到`grafana`的服务名字是`monitor-grafana`;

### （2）创建 ingress-nginx；

```
[root@node1 ~]# cd namespace/prometheus/
[root@node1 prometheus]#
[root@node1 prometheus]# vim ingress-grafana.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: grafana
spec:
  rules:
  - host: grafana.yunweijia.com
    http:
      paths:
      - backend:
          serviceName: monitor-grafana
          servicePort: 80
        path: /
[root@node1 prometheus]# 
[root@node1 prometheus]# kubectl apply -f ingress-grafana.yaml 
ingress.extensions/grafana created
[root@node1 prometheus]#

```

### （3）配置`hosts`文件

修改`Windows`的`hosts`文件，添加如下内容；

```
192.168.112.131 grafana.yunweijia.com

```

### （4）浏览器验证

访问如下地址；

```
http://grafana.yunweijia.com

```

然后显示如下界面；

![](http://kmgy.top:9000/image/2022/10/17/202210171529297.png)

### （5）找寻`grafana`的用户名密码

> 可以看到`Grafana`登录的时候有一个用户名密码，我们看看`k8s`中的`Grafana`默认的用户名密码是多少，如何查看；

查看`charts`中的配置文件；

```
[root@node1 ~]# cd prometheus-operator/charts/grafana/
[root@node1 grafana]# vim values.yaml
adminUser: admin
# adminPassword: strongpassword

# Use an existing secret for the admin user.
admin:
  existingSecret: ""
  userKey: admin-user
  passwordKey: admin-password
[root@node1 grafana]#

```

可以看到他读取的是一个已经存在的`secret`，那么我们就去看下；

```
[root@node1 grafana]# kubectl get secret | grep grafana
monitor-grafana                                               Opaque                                3      18h
monitor-grafana-test-token-9hf2p                              kubernetes.io/service-account-token   3      18h
monitor-grafana-token-dmp6r                                   kubernetes.io/service-account-token   3      18h
[root@node1 grafana]# 
[root@node1 grafana]# kubectl get secret monitor-grafana -o yaml
apiVersion: v1
data:
  admin-password: cHJvbS1vcGVyYXRvcg==
  admin-user: YWRtaW4=
  ldap-toml: ""
kind: Secret
metadata:
# ---省略部分信息---
# ---省略部分信息---
[root@node1 grafana]#

```

从上面我们获得了`Grafana`的用户名密码，但是他是以`base64`的方式加密的，解密之后用户名密码如下：

```
# 密文
admin-password: cHJvbS1vcGVyYXRvcg==
admin-user: YWRtaW4=
# 明文
admin-password: prom-operator
admin-user: admin

```

然后我们在浏览器访问的界面中输入我们的用户名密码，即可登录进`Grafana`系统中，界面如下；

![](http://kmgy.top:9000/image/2022/10/17/202210171529341.png)

点击左上角的`Home`即可选择不同的内容进行显示；

![](http://kmgy.top:9000/image/2022/10/17/202210171529437.png)

随机选择以下一个即可出现监控显示；

![](http://kmgy.top:9000/image/2022/10/17/202210171529397.png)

4、Prometheus 如何实现邮件报警
---------------------

### （1）配置报警邮件

当然也是修改配置文件了，就看如何修改吧。

```
[root@node1 ~]# cd prometheus-operator/
[root@node1 prometheus-operator]# vim values.yaml 
# 搜索 resolve_timeout 字样，我的在133行左右，修改成如下内容
  config:
    global:
      resolve_timeout: 5m
      smtp_smarthost: 'smtp.qq.com:465'  # 邮箱服务器
      smtp_from: '2276845534@qq.com'  # 发件人
      smtp_auth_username: '2276845534@qq.com'  # 授权账号
      smtp_auth_password: 'yunweijia0909'  # 授权账号的密码
      smtp_require_tls: false
    route:
      group_by: ['job']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 12h
      receiver: 'email_alerts'  # 接受者集合
      routes:
      - match:
          alertname: .*  # 报警触发规则
        receiver: 'email_alerts'
    receivers:
    - name: 'email_alerts'
      email_configs:
      - to: 'yunweijia@qq.com'  # 接受报警人
        send_resolved: true  # 恢复之后也发邮件
[root@node1 prometheus-operator]#

```

更新该配置；

```
[root@node1 ~]# helm upgrade monitor ./prometheus-operator/ -f ./prometheus-operator/values.yaml

```

### （2）模拟报警

当我们手动模拟一些故障的时候，比如停止某个服务；

随后我们的邮箱就会收到如下报警；

![](http://kmgy.top:9000/image/2022/10/17/202210171529789.png)

至此，本文结束，需要声明的是，对于`Prometheus`只是做了一个简单的介绍，和流程的梳理，我们还是以`k8s`为主，如果要深入介绍`Prometheus`，那内容就多了去了。

![](http://kmgy.top:9000/image/2022/10/17/202210171529991.jpeg)