k8s 部署 - 如何完善 k8s 中 Prometheus（普罗米修斯）监控项目呢？

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [mp.weixin.qq.com](https://mp.weixin.qq.com/s/AXyOS33vYpplinnmsCXQ5w)

> 我们现在已经搭建好 prometheus（普罗米修斯）监控了，那么是不是 Prometheus 中有些参数需要调整修改呢？默认都是正确的吗？我们接下来看看。

1、查看监控内容
--------

浏览器登录我们的`prometheus`（普罗米修斯）监控系统；

```
http://prometheus.yunweijia.com
```

然后点击`status`中的`Targets`菜单，显示如下图;

![](http://kmgy.top:9000/image/2022/10/17/202210171526403.png)

然后我们可看到有些是不可以监控到的，比如`k8s`中的一些组件`controller-manager`、`etcd`等都无法检测到，当然了，无法检测到是因为我们的安装方式是二进制，如果是别的`kubespary`，亦或者是`kubeadm`的方式，就不会存在这些问题了，那么我们也是需要解决这个问题的，看看如何解决吧。

![](http://kmgy.top:9000/image/2022/10/17/202210171526409.png)

2、`Prometheus`监控二进制安装`k8s`的一些组件
-------------------------------

### （1）prometheus 监控 controller-manager 的修改

```
[root@node1 ~]# cd prometheus-operator/
[root@node1 prometheus-operator]# ls
charts  Chart.yaml  ci  CONTRIBUTING.md  crds  hack  README.md  requirements.lock  requirements.yaml  templates  values.yaml
[root@node1 prometheus-operator]# vim values.yaml 
# 搜索 kubeControllerManager 字样，我的在 758 行
# 修改成如下信息
kubeControllerManager:
  enabled: true
  endpoints: 
  - 192.168.112.130  # 这里进行了修改，写上了我们两个master的主节点
  - 192.168.112.131
    https: false  # 配置成https的请求方式
[root@node1 prometheus-operator]#

```

### （2）prometheus 监控 etcd 的修改

监控`etcd`的话，需要通过`https`的方式，那么我们需要实现做一些准备工作，比如创建一个`secret`并声明证书之类的；

首先我们看下证书所在位置；

```
[root@node1 ~]# ls /etc/etcd/
ca.pem  kubernetes-key.pem  kubernetes.pem
[root@node1 ~]#

```

创建一个`secret`;

```
[root@node1 ~]# kubectl create secret generic etcd-certs --from-file=/etc/etcd/ca.pem --from-file=/etc/etcd/kubernetes-key.pem --from-file=/etc/etcd/kubernetes.pem
secret/etcd-certs created
[root@node1 ~]#

```

查看一个该`secret`的`yaml`文件，确认是否无误；

```
[root@node1 ~]# kubectl get secret etcd-certs -o yaml
apiVersion: v1
data:
  ca.pem: LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUR4RENDQXF5Z0F3SUJBZ0lVZUJ0Wi93ZzUwUzYvN0l6eUFmTmpDOHNxSktNd0RRWUpLb1pJaHZjTkFRRUwKQlFBd2FERUxNQWtHQTFVRUJoTUNWVk14RHpBTkJnTlZCQWdUQms5eVpXZHZiakVSTUE4R0ExVUVCeE1JVUc5eQpkR3hoYm1ReEV6QVJCZ05WQkFvVENrdDFZbVZ5Ym1WMFpYTXhDekFKQmdOVkJBc1
# ---省略部分展现---
# ---省略部分展现---
# ---省略部分展现---
    manager: kubectl-create
    operation: Update
    time: "2022-05-04T15:16:57Z"
  name: etcd-certs
  namespace: default
  resourceVersion: "814232"
  selfLink: /api/v1/namespaces/default/secrets/etcd-certs
  uid: e414a5ef-2e7a-4ffb-bdcd-d02daecb4482
type: Opaque
[root@node1 ~]#

```

从上面看，应该没有什么问题哈；

修改监控项；

```
[root@node1 ~]# cd prometheus-operator/
[root@node1 prometheus-operator]# vim values.yaml 
# 搜索 kubeEtcd 字样，我的在891行
kubeEtcd:
  enabled: true
  endpoints:
  - 192.168.110.130  # 将三个etcd节点的IP地址，配置上
  - 192.168.110.131
  - 192.168.110.132
  serviceMonitor:
    interval: ""
    scheme: https  # 访问方式改成 http
    insecureSkipVerify: false
    serverName: ""
    # 以下文件的存放位置为 /etc/prometheus/secrets/ + 上面创建的secret的名字 + 具体证书名字
    caFile: "/etc/prometheus/secrets/etcd-certs/ca.pem"  # 指定ca
    certFile: "/etc/prometheus/secrets/etcd-certs/kubernetes.pem"  # 指定cert
    keyFile: "/etc/prometheus/secrets/etcd-certs/kubernetes-key.pem"  # 指定key

# 搜索 prometheus 字样，在这个配置段落中找一个 secrets:[]，我的在 1675 行左右
    secrets: 
    - etcd-certs  # 这里添加上我们上面创建的 secret 的名字
[root@node1 prometheus-operator]#

```

### （3）prometheus 监控 Scheduler 的修改

修改`Scheduler`的端口号和绑定 IP；

```
# 需要注意，我们有两个节点，都需要进行修改哈
[root@node1 ~]# vim /etc/systemd/system/kube-scheduler.service 
# 两个参数修改如下
  --bind-address=0.0.0.0 \
  --port=10251 \
[root@node1 ~]# systemctl daemon-reload
[root@node1 ~]# systemctl restart kube-scheduler

```

修改监控项；

```
[root@node1 prometheus-operator]# vim values.yaml 
# 搜索 kubeScheduler 字样，我的在951行
kubeScheduler:
  enabled: true
  endpoints:
  - 192.168.112.130  # 添加Scheduler的IP地址
  - 192.168.112.131
[root@node1 prometheus-operator]#

```

### （4）prometheus 监控 kube-proxy 的修改

由于我们没有使用`kube-proxy`，所以我们只需要把他关闭监控即可；

```
[root@node1 prometheus-operator]# vim values.yaml 
# 搜索 kubeProxy 字样，我的在1004行
kubeProxy:
  enabled: false  # 把原来的true改成false即可
[root@node1 prometheus-operator]#

```

3、更新 Prometheus 的修改项
--------------------

首先我们使用正常的方式来进行修改

```
[root@node1 ~]# helm upgrade monitor ./prometheus-operator/ -f ./prometheus-operator/values.yaml 
WARNING: This chart is deprecated
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
Error: UPGRADE FAILED: rendered manifests contain a resource that already exists. Unable to continue with update: Endpoints "monitor-prometheus-operato-kube-controller-manager" in namespace "kube-system" exists and cannot be imported into the current release: invalid ownership metadata; annotation validation error: missing key "meta.helm.sh/release-name": must be set to "monitor"; annotation validation error: missing key "meta.helm.sh/release-namespace": must be set to "default"
[root@node1 ~]#

```

可以看到报错了，这个报错的话我们可以删除重建；

```
[root@node1 ~]# helm ls  # 查看
NAME    NAMESPACE       REVISION        UPDATED                                 STATUS  CHART                           APP VERSION
monitor default         3               2022-05-03 21:13:46.953235739 +0800 CST failed  prometheus-operator-9.3.2       0.38.1     
[root@node1 ~]# helm delete monitor  # 删除
[root@node1 ~]# kubectl delete crd $(kubectl get crd | grep coreos | awk "{print $1}")  # 清空一些crd
[root@node1 ~]# helm install monitor ./prometheus-operator/  # 重新创建

```

然后让时间飞一会儿~~~

```
[root@node1 ~]# kubectl get pod
NAME                                                     READY   STATUS    RESTARTS   AGE
alertmanager-monitor-prometheus-operato-alertmanager-0   2/2     Running   0          70s
monitor-grafana-775969b799-z592s                         2/2     Running   0          80s
monitor-kube-state-metrics-574788cc57-fk69p              1/1     Running   0          80s
monitor-prometheus-node-exporter-5z7sw                   1/1     Running   0          80s
monitor-prometheus-node-exporter-wvrs6                   1/1     Running   0          81s
monitor-prometheus-operato-operator-79458977df-b6xmh     2/2     Running   0          80s
prometheus-monitor-prometheus-operato-prometheus-0       3/3     Running   0          60s
[root@node1 ~]#

```

当所有 pod 再次运行正常之后，我们再次访问浏览器就可以看到监控项已经正常了。

至此，本文结束，下一篇我们将介绍下如何在`k8s`中使用`grafana`展示，以及如何配置报警。

![](http://kmgy.top:9000/image/2022/10/17/202210171526372.jpeg)