Kubernetes通过Sidecar模式部署单点Redis与redis

Kubernetes 集群部署 Redis + redis_exporter (单点)

2022-01-28 1854

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 在使用 Kubernetes 部署应用后，一般会习惯与将应用的配置文件外置，用 ConfigMap 存储，然后挂载进入镜像内部。这样，只要修改 ConfigMap 里面的配置，再重启应用就能很方便就能够使应用重新加载新的配置，很方便。

系统环境：

Redis 版本：5.0.8
Kubernetes 版本：1.19.5
操作系统版本：CentOS 7.8

一、简介

Redis 是我们常用的非关系型数据库，在项目开发、测试、部署到生成环境时，经常需要部署一套 Redis 来对数据进行缓存。这里介绍下如何在 Kubernetes 环境中部署用于开发、测试的环境的 Redis 数据库，当然，部署的是单节点模式，并非用于生产环境的主从、哨兵或集群模式。

二、Redis 参数配置

在使用 Kubernetes 部署应用后，一般会习惯与将应用的配置文件外置，用 ConfigMap 存储，然后挂载进入镜像内部。这样，只要修改 ConfigMap 里面的配置，再重启应用就能很方便就能够使应用重新加载新的配置，很方便。

1、创建 ConfigMap 存储 Redis 配置文件

创建 Kubernetes 的 ConfigMap 资源，用于存储 Redis 的配置文件 redis.conf 内容：
redis-config.yaml：

kind: ConfigMap
apiVersion: v1
metadata:
  name:
  labels:
    app: redis
data:
  redis.conf: |-
    dir /data
    port 6379
    bind 0.0.0.0
    appendonly yes
    protected-mode no
    pidfile /data/redis-6379.pid

2、 Kubectl 部署 ConfigMap

通过 kubectl 工具部署 Kubernetes ConfigMap 资源，命令如下：

$ kubectl create -f redis-config.yaml

三、Redis 数据存储

Kubernetes 部署的应用一般都是无状态应用，部署后下次重启很可能会漂移到不同节点上，所以不能使用节点上的本地存储，而是网络存储对应用数据持久化，PV 和 PVC 是 Kubernetes 用于与储空关联的资源，可与不同的存储驱动建立连接，存储应用数据，所以接下来我们要创建 Kubernetes PV、PVC 资源。

1、创建 PV

PV 支持多种存储驱动，不同存储驱动的 PV 配置方式是不同的，需要根据你的存储系统来配置 PV 参数。这里用的是 NFS 存储（共享网络文件存储系统），直接使用前面创建的 StorageClass 即可。

具体参考：

Kubernetes 集群部署 NFS-Subdir-External-Provisioner 存储插件

2、创建 PVC 绑定存储空间

redis-storage.yaml：

## PVC
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: redis
spec:
  storageClassName: nfs-storage #---指定StorageClass
  resources:
    requests:
      storage: 5Gi         #设置 pvc 存储资源大小
  accessModes:
  - ReadWriteOnce

3、通过 Kubectl 工具部署 PV、PVC

通过 kubectl 工具部署 Kubernetes PV、PVC 资源，命令如下：

$ kubectl create -f redis-storage.yaml

四、部署 Redis + redis_exporter

1、原理

Prometheus 的数据指标是通过一个公开的 HTTP(S) 数据接口获取到的，我们不需要单独安装监控的 agent，只需要暴露一个 metrics 接口，Prometheus 就会定期去拉取数据；
对于一些普通的 HTTP 服务，我们完全可以直接重用这个服务，添加一个 /metrics 接口暴露给 Prometheus；而且获取到的指标数据格式是非常易懂的，不需要太高的学习成本。
同时现在很多服务从一开始就内置了一个/metrics 接口，比如 Kubernetes 的各个组件、istio 服务网格都直接提供了数据指标接口。有一些服务即使没有原生集成该接口，也完全可以使用一些 exporter 来获取到指标数据，比如今天介绍的 redis_exporter，而 exporter 就有点类似于传统监控服务中的 agent，作为服务一直存在，用来收集目标服务的指标数据然后直接暴露给 Prometheus。

2、redis_exporter

redis 没有自带 /metrics 接口供 Prometheus 使用，在这种情况下，我们就需要利用 exporter 服务来为 Prometheus 提供指标数据了。Prometheus 官方为许多应用就提供了对应的 exporter 应用，也有许多第三方的实现，我们可以前往官方网站进行查看：https://prometheus.io/docs/instrumenting/exporters/。

这里我们选择官方的 redis_exporter：https://github.com/oliver006/redis_exporter

3、创建 Sidecar 部署 Redis

创建用于 Kubernetes Deployment 来配置部署 Redis 的参数：

配置 Redis 的镜像地址、名称、版本号；
配置其 CPU 与 Memory 资源的占用；
配置 Volume 挂载之前创建的 PV、PVC、ConfigMap 资源等等；
sidecar 挂载 redis_exporter。

这里通过 redis_exporter 的服务来监控 redis 服务，我们以 sidecar 的形式和主应用部署在同一个 Pod 中，比如我们这里来部署一个 redis，并用 redis_exporter 的方式来采集监控数据供 Prometheus 使用，这里通过 redis_exporter 的服务来监控 redis 服务，我们以 sidecar 的形式和主应用部署在同一个 Pod 中，比如我们这里来部署一个 redis，并用 redis_exporter 的方式来采集监控数据供 Prometheus 使用。

如下资源清单文件：promethues-redis-deploy.yaml：

## Service
apiVersion: v1
kind: Service
metadata:
  name: cloud-redis
  labels:
    app: redis
spec:
  selector:
    app: redis
  ports:
    - name: redis
      port: 6379
      targetPort: 6379
    - name: prom
      port: 9121
      targetPort: 9121
---
## Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cloud-redis
  labels:
    app: redis
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis
  template:
    metadata:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "9121"
      labels:
        app: redis
    spec:
      initContainers:
        - name: system-init
          image: busybox:1.32
          imagePullPolicy: IfNotPresent
          command:
            - "sh"
            - "-c"
            - "echo 2000 > /proc/sys/net/core/somaxconn && echo never > /sys/kernel/mm/transparent_hugepage/enabled"
          securityContext:
            privileged: true
            runAsUser: 0
          volumeMounts:
            - name: sys
              mountPath: /sys
      containers:
        - name: redis-exporter
          image: oliver006/redis_exporter:latest
          resources:
            requests:
              cpu: 100m
              memory: 100Mi
          ports:
            - containerPort: 9121
        - name: redis
          image: redis:5.0.8
          command:
            - "sh"
            - "-c"
            - "redis-server /usr/local/etc/redis/redis.conf"
          ports:
            - containerPort: 6379
          resources:
            limits:
              cpu: 1000m
              memory: 1024Mi
            requests:
              cpu: 1000m
              memory: 1024Mi
          volumeMounts:
            - name: data
              mountPath: /data
            - name: config
              mountPath: /usr/local/etc/redis/redis.conf
              subPath: redis.conf
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: redis
        - name: config
          configMap:
            name: redis-config
        - name: sys
          hostPath:
            path: /sys

参数简介：

ports：配置镜像映射端口。
resources：配置 CPU、Memory 资源限制，可以通过配置该值来配置 Pod 的 QoS 级别。
volumeMounts：存储卷挂载配置，用于镜像内存储的挂载配置，与 volumes 中对于的 name 进行绑定。
volumes：存储卷配置，可配置使用 pvc、hostPath、emptyDir、nfs 等存储，需要配置 name 值与 -VolumeMounts 进行绑定。

2、通过 Kubectl 工具部署 Redis

通过 kubectl 工具部署 Deployment 来创建 Redis，命令如下：

# -n：指定部署应用的 Namespace 命名空间
$ kubectl create -f redis-deploy.yaml -n mall

五、测试 Redis 是否能够正常使用

进入Redis 使用 redis-cli 命令进行连接：

$ kubectl exec -ti cloud-redis-79b69db657-vjh8r --container redis -n mall -- /bin/bash 
root@cloud-redis-79b69db657-vjh8r:/data#  redis-cli
127.0.0.1:6379> set a "100"
OK
127.0.0.1:6379> get a
"100"
127.0.0.1:6379>

可以看到，已经成功连接并进入 Redis 命令行界面，说明数据库能正常使用。

注意：
pod 里有多个容器，需要加上 --container or -c 参数，指定进入的容器。

六、Redis 是否能够正常获取监控数据

创建完成后，我们可以看到 redis 的 Pod 里面包含有两个容器：

$ kubectl get pods -n mall
NAME                                    READY   STATUS    RESTARTS   AGE
cloud-redis-79b69db657-vjh8r            2/2     Running   0          5d4h

$ kubectl get svc -n mall
NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                               AGE
cloud-redis            ClusterIP   10.96.243.202   <none>        6379/TCP,9121/TCP                     5d4h

我们可以通过 9121 端口来校验是否能够采集到数据：

$ curl 10.96.243.202:9121/metrics
# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 4.6144e-05
go_gc_duration_seconds{quantile="0.25"} 9.4462e-05
go_gc_duration_seconds{quantile="0.5"} 0.000122258
go_gc_duration_seconds{quantile="0.75"} 0.000168729
go_gc_duration_seconds{quantile="1"} 0.009149671
go_gc_duration_seconds_sum 1.531426455
go_gc_duration_seconds_count 6342
# HELP go_goroutines Number of goroutines that currently exist.
# TYPE go_goroutines gauge
go_goroutines 10
# HELP go_info Information about the Go environment.
# TYPE go_info gauge
go_info{version="go1.15"} 1
# HELP go_memstats_alloc_bytes Number of bytes allocated and still in use.
# TYPE go_memstats_alloc_bytes gauge
go_memstats_alloc_bytes 4.304504e+06
# HELP go_memstats_alloc_bytes_total Total number of bytes allocated, even if freed.
# TYPE go_memstats_alloc_bytes_total counter
go_memstats_alloc_bytes_total 1.6514546264e+10
# HELP go_memstats_buck_hash_sys_bytes Number of bytes used by the profiling bucket hash table.
# TYPE go_memstats_buck_hash_sys_bytes gauge
go_memstats_buck_hash_sys_bytes 1.581302e+06
# HELP go_memstats_frees_total Total number of frees.
# TYPE go_memstats_frees_total counter
go_memstats_frees_total 1.45861236e+08

......

源码地址：

https://github.com/zuozewei/blog-example/tree/master/Kubernetes/k8s-redis-exporter

Kubernetes 集群部署 Redis + redis_exporter (单点)

一、简介

二、Redis 参数配置

1、创建 ConfigMap 存储 Redis 配置文件

2、 Kubectl 部署 ConfigMap

三、Redis 数据存储

1、创建 PV

2、创建 PVC 绑定存储空间

3、通过 Kubectl 工具部署 PV、PVC

四、部署 Redis + redis_exporter

1、原理

2、redis_exporter

3、创建 Sidecar 部署 Redis

2、通过 Kubectl 工具部署 Redis

五、测试 Redis 是否能够正常使用

六、Redis 是否能够正常获取监控数据

热门文章

最新文章

相关课程

相关电子书

推荐镜像

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

Kubernetes 集群部署 Redis + redis_exporter (单点)

一、简介

二、Redis 参数配置

1、创建 ConfigMap 存储 Redis 配置文件

2、 Kubectl 部署 ConfigMap

三、Redis 数据存储

1、创建 PV

2、创建 PVC 绑定存储空间

3、通过 Kubectl 工具部署 PV、PVC

四、部署 Redis + redis_exporter

1、原理

2、redis_exporter

3、创建 Sidecar 部署 Redis

2、通过 Kubectl 工具部署 Redis

五、测试 Redis 是否能够正常使用

六、Redis 是否能够正常获取监控数据

热门文章

最新文章

相关课程

相关电子书

推荐镜像