开发者学堂课程【企业级运维之云原生与 Kubernets 实战课程： ACK 集群节点管理】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/913/detail/14568
ACK 集群节点管理
一、 集群节点管理概述
1. 场景需求：
a. 场景一：云节点负载高、节点内核夯住；
Ÿ 问题：节点上的 pod 无法收到外来的请求或者无法快速响应；
Ÿ 解决方案：移除节点，将节点上的 pods 转移到其他节点，然后移除该节点。
b. 场景二：节点被改坏掉，修复回来很麻烦；
Ÿ 问题：节点配置被修改后，导致在该节点发起的应用部署失败；
Ÿ 解决方案：将该节点移除，然后再恢复；
c. 场景三：集群节点不够或者节点资源太多，有些浪费；
Ÿ 问题：这种场景多见于电商平台，在平台活动期间需要增加节点以支撑大规模的流量涌入，而活动过后，这些节点资源又会被闲置；
Ÿ 解决方案：在高峰时添加节点，高峰过后再将闲置节点资源移除；
d. 场景四：节点的规格已经不满足要求，需要升降配；
Ÿ 问题：阿里云 ECS 升降配需要重启才能生效，但重启会影响节点上的业务；
Ÿ 解决方案：应对这种场景通常的解决方案是将节点从集群中移除，再重启，是否有其他解决方案，可以不用移除节点又不会影响业务？（答案在后面的部分）
2. 节点管理概述
节点管理包括三方面：节点添加、节点移除和节点运维。
集群节点管理约束：
Ÿ 控制台不可运维、删除 master 节点；
Ÿ 不可以添加 master 节点，master 节点的数量是在创建的时候确定的，有 3 和 5两个选项，创建好以后就不能再修改；
Ÿ 每个集群默认最多只能添加 1000 个节点，标准托管集群只能添加 10 个节点
参考文档：ACK 集群配额限制https://help.aliyun.com/document_detail/86741.html
二、节点添加
1. 添加方式
Ÿ 扩容新节点；
Ÿ 自动添加已有节点；
Ÿ 手动添加已有节点；
2. 前置条件
Ÿ 节点必须和集群在同一 vpc 下，可以在不同的 vSwitch 下，选择多个可用区可以提高库存命中率；
Ÿ 仅支持添加同一账号下的服务器；
Ÿ 仅支持以下操作系统：
Alibaba CloudLinux2（推荐）
Centos 7.x
Windows Server 2009、WindowsServer 2009 Core
注：更多前置条件请参考文档“添加 Kubernetes 集群节点的常见问题”
https://help.aliyun.com/document_detail/170722.htm
3. 扩容新节点
a. 节点池
Ÿ 节点池是集群中具有相同配置的一组节点，节点池可以包含一个或多个节点。
Ÿ 节点池的作用是在有限的范围内，解决被管理对象的多样性带来的复杂性，以及当节点数大幅增长带来的管理成本增加。
Ÿ 运维人员可以根据具体业务需求规划节点池，给不同节点池的节点打标签和污点，在应用部署中，通过节点标签选择器和容忍污点，实现应用部署到指定节点池上。
在下图中有三个节点池，分别有各自的标签，在部署时通过标签选择器将 pod 应用上的标签与节点池的标签进行匹配。
b. 扩容新节点步骤
Ÿ 进入容器服务管理平台，在左侧栏选择集群；
Ÿ 在集群列表页面，选择目标集群，并在目标集群右侧操作列下，选择“更多 - 集群扩容”；
Ÿ 在节点池页面，单击目标节点池操作列的扩缩容；
Ÿ 在期望节点数处输入数值，单击“确定”，然后在修改确认的对话框中，单击“确定”。
4. 手动添加已有节点
a. 操作步骤：
Ÿ 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
Ÿ 在集群管理页左侧导航栏中，选择节点管理 > 节点池；
Ÿ 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；
Ÿ 在选择已有云服务器实例配置项页面，选择手动添加已有云服务器实例；
Ÿ 单击下一步，完成填写实例信息；
注：建议勾选“将容器和镜像存储在数据盘”。
Ÿ 单击下一步，进入添加完成页面。在添加完成页面复制执行命令到需要添加的节点上执行；
Ÿ 在 ECS 实例远程连接界面，复制粘贴命令，单击“确定”开始执行脚本；
Ÿ 等待脚本执行成功，该云服务器就添加成功。
b. 原理
Ÿ 控制台选择手动添加已有节点后，会生成一个可执行 shell 命令；
Ÿ 登录 ECS 节点，执行 shell 命令；
Ÿ 从 oss 下载 attach_node.sh 并执行，attach_node.sh 会从 oss 下载 PKG，执行一些必要的包安装；
Ÿ 配置系统环境和 kubelet 等参数，然后调用 kubeadm 加入集群并启动 kubelet。
5. 自动添加已有节点
a. 操作步骤
Ÿ 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；
Ÿ 在集群管理页左侧导航栏中，选择节点管理 > 节点池；
Ÿ 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；
Ÿ 在选择已有云服务器实例配置向导页面，选择自动添加已有云服务器实例；
Ÿ 单击下一步，完成填写实例信息；
Ÿ 单击下一步，在添加已有实例到集群对话框中单击确定。
b. 重要参数
Ÿ 数据盘挂载：如果 ECS 已挂载数据盘，且最后一块数据盘的文件系统未初始化，系统会自动将该数据盘格式化为 ext4，用来存放 /var/lib/docker、/var/lib/kubelet；
Ÿ CPU Policy：none: 默认策略；
Ÿ Static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占性；
Ÿ RD S白名单：将 ECS 和 Pod CIDR 加入 RDS 白名单；
Ÿ 实例自定义数据：ECS 启动时执行，可以放入脚本，实现定制化的系统初始化工作。
三、节点移除
鉴于移除节点会涉及 pod 迁移，可能会影响业务，建议在业务低峰期操作。
1. 移除方法
Ÿ 控制台选择节点，并勾选“排空节点”、“释放 ECS ”等选项移除节点；
自动排空节点（ drain ）：把待移除节点上的 Pod 转移到其他节点
Ÿ kubectl delete node，手动移除节点，这种方式会先在集群中移除节点，ACK 管控会定时同步节点池，会有一定延迟；
Ÿ 如果没有通过容器服务控制台，而是直接在 ECS 控制台主动释放节点、移除实例，节点池为了能够将节点个数维持在期望节点数，会根据相应节点池配置自动扩容到期望节点数。
2. 注意事项
Ÿ 建议选择上面第一种方式移除节点；
Ÿ 包年包月实例，移除节点时无法释放(受 ECS 产品约束)，需要先转按量付费才能释放。
四、节点运维
1. 运维场景
Ÿ 节点负载高，不希望再调度新的 Pod 上来；
Ÿ 节点异常，或者节点显示正常但是无法正常工作，比如 runc 夯住，kubelet pleg not healthy；
Ÿ 节点需要修复高危漏洞；
Ÿ 节点需要升级 dockerd、containerd、systemd、glibc 等；
Ÿ 其他异常需要重启节点；
Ÿ 节点规格需要升降配，以满足业务需要；
Ÿ 其他场景；
2. 运维方法
Ÿ 将节点设置为不可调度：
kubectl drain node <node name>
kubectl cordon node <node name>
以上两种方式的区别：drain 将节点设置为不可调度的同时，会驱逐原节点上的 pod，而 cordon 仅将节点设置为不可调度，但不会影响原有节点。
Ÿ 恢复调度：
kubectl uncordon node <node name>
本讲小结
Ÿ 本章讲解了节点管理的操作，包括添加节点、移除节点、运维节点等；
Ÿ 根据实际场景来选择适合的运维方式。
思考：
Ÿ drain、cordon、uncordon 有什么区别？何时该用 drain，何时该用 cordon？
Ÿ 添加节点失败，该如何排查？
