开发者学堂课程【企业级运维之云原生与 Kubernets 实战课程：ACK 集群故障处理与疑难处置】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/913/detail/14609
ACK 集群故障处理与疑难处置
一、 存储疑难与故障
1. 在存储方面，常见的问题及可能的原因如下：
a. Pod 挂载不上云盘
Ÿ 云盘卷是非共享存储，已经被其他 Pod 挂载；
Ÿ 云盘和 ECS 不在一个可用区；
Ÿ flexvolume/csi 驱动使用错误；
b. Pod 卸载不了云盘
Ÿ Pod 所在的 ECS 将计费方式变为了包年包月(连带云盘也变成包年包月)，导致云盘无法从 ECS 卸载。
c. Pod 挂载不了 NAS
Ÿ NAS 的权限组设置不对；
Ÿ 挂载点或者 NAS 挂载地址不存在；
2. 问题定位：查看驱动日志
为了准确定位问题原因，可以先查看驱动日志，阿里云提供的两个主要的存储组件是 Flexvolum 和 CSI：
a. flexvolume:/var/loq/alicloud/flexvolume* ;csi:
flexvolume 插件是 Kubernetes 社区较早实现的存储卷扩展机制，插件包括以下三部分：
Ÿ Flexvolume：负责数据卷的挂载、卸载功能。ACK 默认提供云盘、NAS、OSS 三种存储卷的挂载能力；
Ÿ Disk-Controller：负责云盘卷的自动创建能力；
Ÿ Nas-Controller：负责 NAS 卷的自动创建能力；
b. CSI
CSI 插件是当前 Kubernetes 社区推荐的插件实现方案，ACK 集群提供的 CSI 存储插件兼容社区的 CSI 特性，插件包括以下两部分：
Ÿ CSI-Plugin：实现数据卷的挂载、卸载功能。ACK 默认提供云盘、NAS、OSS 三种存储卷的挂载能力；
Ÿ CSI-Provisioner：实现数据卷的自动创建能力，目前支持云盘、NAS 两种存储卷创建能力；
查看 csi-plugin Pod 的日志;如果是动态存储，还需要查看 nas-controller/disk-controller/csi-provisioner 的日志。
3. 其他存储相关问题
a. NAS 存储
Ÿ 现象：PVC 无法创建，报错`waitingfor a volume to be created,either by external provisioner "nasplugin.csi.alibabacloud.com" or manually created by system administrator；
Ÿ 原因：创建阿里云 Kubernetes 1.16 之前版本的集群时，若存储插件选择为 Flexvolume，则控制台默认安装 Flexvolume 与 Disk-Controller 组件，但控制台不会默认安装 alicloud-nas-controller 组件。
参考文档：https://help.aliyun.com/document_detail/86785.html
b. 挂载 NAS 的 Pod 无法启动
Ÿ 现象：查看 pv 和 pvc 同时为 bound 状态，describe pod 显示挂载超时；
Ÿ 方法：查看 flexvolume 日志是否存在 FsGroup 字段；
Ÿ 原因：FsGroup:1000，表示 mount 使用 uid=1000 的特定用户进行挂载，Pod启动的时候，会把 NAS 挂载的目录下所有的文件权限改成 1000，当文件较多的时候，会超过Pod的启动超时时间，导致 Pod 无法启动。
参考文档：https://help.aliyun.com/document_detail/286496.html
二、网络疑难与故障
常见的网络问题和可能的原因如下：
1. 访问 slb 不通
Ÿ 集群内访问不通，Service 的 externalTrafficPolicy 策略为 Local，非 Service 的后端 Pod 所在节点访问 Service 的 slb IP 就会不通；
Ÿ slb 配置了黑白名单访问控制(常见的 apiserver的slb 配置了访问控制，控制台查看集群等信息失败)；
Ÿ ECS 安全组出方向没有放通 slb 的 IP；
2. 访问 Ingress 不通
Ÿ 集群内访问不通，原因同问题1中的第一种原因，因为 Ingress IP 也是Loadbalancer 类型的 Service 的 slb IP；
Ÿ nginx-ingress-controller 所在的节点入方向安全组没有放通集群 Pod 网段；
Ÿ Ingress 手动设置了白名单；
Ÿ Ingress 的 yaml 配置有问题，导致 ingress-controller 无法正确加载配置，访问502；
3. 控制台访问异常
Ÿ apiserver 出异常，或者 apiserver 的 slb 流量/连接数超过规格；
Ÿ apiserver 的 slb 上设置了黑白名单；
4. Pod 不通
Ÿ Pod 所在节点的网络设备没有开启 forward；
Ÿ Pod 里进程监听的回环地址；
三、Kubectl 命令问题
Kubectl 命令常见的问题和可能的原因如下：
1. 报 ** is forbidden;User ** cannot **错误
帐号的集群 RBAC 权限不够，从报错可以看到是缺少集群范围内的 list 某个资源的权限，且 API Group 为核心 API 组。
2. kubectl get 可以，logs/exec 不行
节点的安全组入方向没有放通 kubelet 的 10250 端口，kubectl 和 kubelet 建联失败。kubectl 会先和 apiserver 建连，然后 apiserver 会访问 Pod 所在节点的kubelet (通过 kubelet10250 端口)建立连接，kubelet 再和 Pod 通信
3. kubectl 执行超时
Ÿ apiserver 服务异常；
Ÿ apiserver 的 slb 设置了访问控制；
Ÿ 其他问题：可以通过 kubectl --v=8 指定命令返回的日志级别来定位。
四、 节点自动伸缩问题
在节点自动伸缩方面，常见的问题和可能的原因如下：
1. 自动伸缩组件 kube-autoscale 异常
集群自动伸缩组件依赖集群的 KubernetesWorkerRole-*** 的角色没有权限去调用弹性伸缩的相关接口。
2. 节点不自动扩容
Ÿ 集群未达到节点扩容的条件：pod 因为节点资源不足而导致状态未 pending 的情况下才会触发节点扩容，而并非超过自动伸缩设定的阈值；
Ÿ 集群已经达到扩容的条件，但是由于自动伸缩的伸缩组配置的节点不满足 Pod 的要求，比如:
ž Pod 要求创建在杭州可用区 D，但是配置的节点的交换机是可用区 A ；
ž Pod 的 request.cpu 是 4，但是伸缩组节点规格是 2C；
Ÿ 如果上述两种情况都没有问题，可以通过检查 cluster-autoscaler 组件日志判断。
五、 Service 问题
在 Service 方面常见的问题和可能的原因如下：
1. lb 类型的 service 一直创建中
Ÿ slb 可以挂载的 backend server 的数量已满；
Ÿ ECS 可以重复挂载到 slb 的次数配额已满；
Ÿ cloud-controller-manager 组件异常；
2. Service 负载不均
Ÿ lb 类型的 service，是按照节点上 Pod 的数量比例来设置权重，保证 Pod 负载均衡，但是节点上会负载不均；
Ÿ 使用了长链接以及会话保持功能；
如下图所示，在 V1.9.3.164-g2105d2e-aliyun 之前版本，Local 模式的 Service 其所有后端权重均为 100，即所有流量平均分配到这三台 ECS 上，造成 ECS1 上 Pod负载较重而 ECS3 上的 Pod 负载较轻，导致 Pod 负载不均。
解决方案：
Ÿ 如图所示，在 V1.9.3.164-g2105d2e-aliyun 之后及 V1.9.3.276-g372aa98-aliyun之前版本，CCM 会根据 Node 上部署的 Pod 数量计算Node权重。经计算三台 ECS 权重分别为 16、33、50，因此流量将大致按照 1：2：3 的比例分配给三台 ECS，Pod 负载更加均衡。
计算公式如下：
Ÿ 在 V1.9.3.276-g372aa98-aliyun 及之后版本，CCM 将 Node 上部署的 Pod 数量设置为 Node 权重，如下图所示，三台 ECS 的权重分别为 1、2、3，流量会按照1：2：3 的比例分配给三台 ECS，Pod 负载比上一种方式更加均衡。
计算公式如下：
3. 无法访问 Service 的虚拟 IP
Ÿ 集群外无法访问：Service 的虚拟 IP 在集群内是通过 iptables 或者 ipvs 转发来完成的，是虚拟 IP，集群外不存在虚拟 IP 的路由，所以访问不通；
Ÿ 集群内无法 ping 通：Service 的 clusterlP 是虚拟 IP，只提供端口的转发，不提供 icmp 转发，所以访问不通；
Ÿ 集群内无法访问 Service：Service 的 endpoint 是空的，或者虽然有 endpoint，但是 Pod 端口不对，或者 Pod 端口监听绑定的是回环地址。
