背景
最近在阅读《每天5分钟玩转Kubernetes》 这本书，个人感觉是一本不错的 K8S 的入门书籍。
我们在刚开始学习一项技术的时候，不论是通过官方文档、书籍，亦或是视频的形式，如果仅仅是去看，而不去练习实践的话，那么是很难将其真正应用起来的。
然而当我开始准备实践的时候，发现要想在本地将 K8S 跑起来，并不像我们想象的那么容易。存在以下几点「问题」：
- 网络环境：K8S 里面的一些镜像在国内很难将其 pull 下来，当然这可以通过代理、镜像站等方式解决。
- 资源消耗：在内存资源不这么充裕的本地开发环境，去部署一个 K8S 集群，这无疑不是一个明智的选择。
那么有没有什么方案可以更优雅更轻量更快速搭建一个 K8S 集群呢？答案就是 k3d。
其实有很多种方式可以在本地运行 k8s，比如：
- minikube 仅支持单节点，但是我们期望可以跑一个集群的方式，方便我们去 Mock 节点宕机之后 K8S 自动调度的 case ✖️
- microk8s 是 Ubuntu 生态里提供的一个可以单机运行的 k8s 版本，配合 Ubuntu 生态的 multipass，可以模拟多节点，但是在本就资源紧张的本地环境，通过虚拟机的方式模拟多节点，显然并不是我想要的 ✖️
- kind 是一个基于 docker 构建 Kubernetes 集群的工具，Kubernetes in Docker ✔️
- k3d 是一个可以让 k3s 运行在 Docker 中的工具，相比于 kind ，启动速度更快，占用资源更小，也是我采取的一种方案 ✅
当然了，如果只是学习 k8s 的使用，那么以上方案均可以使用。
关于 k3d 以及 kind 的对比，可以参考 K3d vs Kind 谁更适合本地研发。
1. 什么是 k3d + k3s ？
k3s 是一种非常快速且轻量级的完全兼容的 Kubernetes 发行版（CNCF 认证）。
k3d 是一个可以让 k3s 运行在 Docker 中的工具，它提供了一个简单的 CLI 来创建、运行和删除具有 1 到 N 个节点的 Kubernetes 集群。
k3s 包括以下一些组件：
- Containerd：一个类似 Docker 的运行时容器，但是它不支持构建镜像
- Flannel：基于 CNI 实现的网络模型，默认使用的是 Flannel，也可以使用 Calico 等其他实现替换
- CoreDNS：集群内部 DNS 组件
- SQLite3：默认使用 SQLite3 进行存储，同样也支持 etcd3, MySQL, Postgres
- Traefik：默认安装 Ingress controller 是 traefik 1.x 的版本
- Embedded service loadbalancer：内嵌的一个服务负载均衡组件
k3s 是一种模块化的发行版，可以很方便的替换上面的组件。
2. 安装 k3d
在 Mac 下，使用 Homebrew 可以很方便的安装 k3d： brew install k3d。
顺手安装一下 kubectl 和 kubecm：
brew install kubectl brew install kubecm
3. 小试牛刀
我们通过 k3d 的命令可以轻易的在本地启动一个或 N 个 k8s 集群。
首先我们尝试创建一个 1主2从 的集群：
k3d cluster create first-cluster --port 8080:80@loadbalancer --port 8443:443@loadbalancer --api-port 6443 --servers 1 --agents 2
初次创建可能会比较慢，因为会从 Docker 仓库拉取最新的 rancher/k3s 镜像。
当出现下面的日志时，k8s 集群就创建成功了
INFO[0000] Prep: Network INFO[0000] Created network 'k3d-first-cluster' INFO[0000] Created volume 'k3d-first-cluster-images' INFO[0001] Creating node 'k3d-first-cluster-server-0' INFO[0001] Creating node 'k3d-first-cluster-agent-0' INFO[0001] Creating node 'k3d-first-cluster-agent-1' INFO[0001] Creating LoadBalancer 'k3d-first-cluster-serverlb' INFO[0001] Starting cluster 'first-cluster' INFO[0001] Starting servers... INFO[0001] Starting Node 'k3d-first-cluster-server-0' INFO[0008] Starting agents... INFO[0008] Starting Node 'k3d-first-cluster-agent-0' INFO[0020] Starting Node 'k3d-first-cluster-agent-1' INFO[0028] Starting helpers... INFO[0028] Starting Node 'k3d-first-cluster-serverlb' INFO[0029] (Optional) Trying to get IP of the docker host and inject it into the cluster as 'host.k3d.internal' for easy access INFO[0031] Successfully added host record to /etc/hosts in 4/4 nodes and to the CoreDNS ConfigMap INFO[0031] Cluster 'first-cluster' created successfully! INFO[0031] --kubeconfig-update-default=false --> sets --kubeconfig-switch-context=false INFO[0031] You can now use it like this: kubectl config use-context k3d-first-cluster kubectl cluster-info
此时，我们按照日志提示，运行 kubectl cluster-info 查看下当前集群的信息：
Kubernetes master is running at https://0.0.0.0:6443 CoreDNS is running at https://0.0.0.0:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy Metrics-server is running at https://0.0.0.0:6443/api/v1/namespaces/kube-system/services/https:metrics-server:/proxy
运行 kubectl get nodes 查看下当前集群的节点情况：
NAME STATUS ROLES AGE VERSION k3d-first-cluster-agent-1 Ready <none> 178m v1.20.2+k3s1 k3d-first-cluster-server-0 Ready control-plane,master 178m v1.20.2+k3s1 k3d-first-cluster-agent-0 Ready <none> 178m v1.20.2+k3s1
注意，这里的“节点”其实是本机 Docker 运行的容器，通过 docker ps 查看下当前本机运行的容器吧
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a757151daf14 rancher/k3d-proxy:v4.2.0 "/bin/sh -c nginx-pr…" 4 hours ago Up 4 hours 0.0.0.0:6443->6443/tcp, 0.0.0.0:8080->80/tcp, 0.0.0.0:8443->443/tcp k3d-first-cluster-serverlb 6fcb1bbaf96e rancher/k3s:latest "/bin/k3s agent" 4 hours ago Up 4 hours k3d-first-cluster-agent-1 cef7277e43b9 rancher/k3s:latest "/bin/k3s agent" 4 hours ago Up 4 hours k3d-first-cluster-agent-0 5d438c1b5087 rancher/k3s:latest "/bin/k3s server --t…" 4 hours ago Up 4 hours k3d-first-cluster-server-0
解释一下我们创建集群时配置的端口映射：
- --port 8080:80@loadbalancer 会将本地的 8080 端口映射到 loadbalancer 的 80 端口，然后 loadbalancer 接收到 80 端口的请求后，会代理到所有的 k8s 节点。
- --api-port 6443 默认提供的端口号，k3s 的 api-server 会监听 6443 端口，主要是用来操作 Kubernetes API 的，即使创建多个 Master 节点，也只需要暴露一个 6443 端口，loadbalancer 会将请求代理分发给多个 Master 节点。
- 如果我们期望通过 NodePort 的形式暴露服务，也可以自定义一些端口号映射到 loadbalancer 来暴露 k8s 的服务，比如：-p 10080-20080:10080-20080@loadbalancer
现在我们集群和主机的网络通信是这样子的：
4. 测试
创建一个 nginx 的 Deployment
kubectl create deployment nginx --image=nginx
创建一个 Service 通过 ClusterIP 的方式暴露服务
kubectl create service clusterip nginx --tcp=80:80
创建一个 Ingress，k3s 默认安装的是 traefik 1.x 作为 Ingress Controller
cat <<EOF | kubectl apply -f - apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: nginx annotations: ingress.kubernetes.io/ssl-redirect: "false" spec: rules: - http: paths: - path: / pathType: Prefix backend: service: name: nginx port: number: 80 EOF
此时，打开浏览器，访问 http://localhost:8080/ 就可以看到熟悉的 nginx 默认页。
这是不是太酷了~
5. 其它
5.1. 管理集群
- 停止集群：k3d cluster stop first-cluster
- 重启集群：k3d cluster start first-cluster
- 删除集群：k3d cluster delete first-cluster
5.2. 创建指定版本的k8s集群
当使用 Helm Chart 安装 Rancher 时，可能会出现如下错误日志：
chart requires kubeVersion: < 1.20.0-0 which is incompatible with Kubernetes v1.20.0+k3s2
测试时 Rancher 版本号为 2.5.5，目前最新的 2.5.6 已经可以支持 1.20.x 版本了
要创建一个 k8s 版本号为 v1.19.8-k3s1 的 k8s 集群，可以在创建集群的命令后面加 --image 参数，指定版本号：k3d cluster create first-cluster xxxxx --image rancher/k3s:v1.19.8-k3s1
5.3. 快速切换 kubectl context
还记得在第二步顺手安装的 kubecm 吗？
当我们在本地使用 k3d 创建了多个集群之后，我们可以通过 kubecm 快速切换 context。
$ kubecm s Use the arrow keys to navigate: ↓ ↑ → ← and / toggles search Select Kube Context k3d-first-cluster(*) k3d-dev k3d-rancher-test <Exit> --------- Info ---------- Name: k3d-first-cluster Cluster: k3d-first-cluster User: admin@k3d-first-cluster
参考
- k3s：k3s.io/
- k3d：k3d.io/
- kubecm：github.com/sunny0826/k…
