ACK Istio ingress gateway 生产调优

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: istio ingress gateway 生产配置调优

前言

Istio Ingress Gateway作为服务网格的核心组件,对外提供服务统一的服务入口,gateway的能力对业务至关重要,但由于涉及到资源配置及费用开销等问题,ACK集群中默认安装istio的相关组件,不会做在资源层面做特定的配置,所以存在如下可能影响性能的点:

  • 默认部署资源规格小
  • 默认replica实例数少
  • 默认入口service slb实例规格低
  • 默认和其他业务pod混部
  • 默认宿主机内核sysctl部分参数并未调整到最适合大流量场景

如果只是简单开发测试体验下istio的功能,无需为这些点做专门的调优;但是如果以生产为目标,为了使ingress gateway能够拥有更强的能力,我们需要根据我们的业务场景,有选择性的对每个点进行适当的调整。

调整资源规格

默认的istio ingress gateway deployment中pod的资源规格如下:

          resources:
            limits:
              cpu: '2'
              memory: 2G
            requests:
              cpu: 200m
              memory: 256Mi

我们可以根据实际情况,将该资源的规格适当调大,gateway是计算敏感型业务,资源可适当多分配一些CPU资源

          resources:
            limits:
              cpu: '4'
              memory: 4G
            requests:
              cpu: '4'
              memory: 4G

扩充实例个数

默认的istio ingress gateway deployment中replica的个数为1,默认有80% cpu阈值做hpa,建议上来2个replica起步,另外加上hpa使之具备一定弹性。如果考虑采用本文所述的独立部署,可不做hpa弹缩gateway。

spec:
  replicas: 1

调优入口service slb实例规格

默认ingress gateway的service对应的slb规格是slb.s1.small,该规格实例的最大连接数为5000,每秒查询数为1000 QPS,建议可按照实际需求调整slb实例规格,具体slb实例规格可参考:
https://help.aliyun.com/document_detail/27695.html
注意:修改slb实例规格请不要在SLB控制台上手动修改,规格的变更请在service的yaml中以annotation方式进行修改,例如:

  annotations:
    service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: slb.s3.small

独立部署

为避免ingress gateway和其他业务pod混部场景下出现南北向及东西向流量互相干扰的场景,可考虑将ingress gateway独立部署于某几台规格较高的节点上,使得gateway和业务pod之间只存在南北向的流量,在此处,我们建议独立部署于计算型ECS资源上(如前所述,gateway是计算型业务,cpu开销较大),步骤可参考如下:

  1. 在集群中扩容两新ECS节点,扩容时可同时给节点打上label及污点taint(添加已有节点,也请做同样的操作)

    kubectl label node nodename app=istio-ingressgateway
    kubectl taint node nodename istio=ingressgateway:NoExecute
  2. 给ingress gateway的deployment添加node selector及对应的容忍:

          nodeSelector:
            app: istio-ingressgateway
          tolerations:
            - effect: NoExecute
              key: istio
              operator: Equal
              value: ingressgateway
  3. 重启gateway的pod,使之能调度到专属的独立节点上去。

优化sysctl内核参数

为了使ingress gateway能有更强的处理高并发的能力,建议可在ingress gateway所在的节点上调整一下内核参数:

sysctl -w net.netfilter.nf_conntrack_max=2097152
sysctl -w net.ipv4.tcp_mem="786432 2097152 3145728"
sysctl -w net.ipv4.tcp_rmem="4096 4096 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 4096 16777216"
sysctl -w net.ipv4.tcp_max_syn_backlog=65535

terway容器网络Pod独占ENI(可选)

如果我们选择的ACK集群容器网络为terway,且集群中的机型能够支持足够多的弹性网卡ENI,我们的业务也允许我们使用Terway容器网络下独占ENI的模式(每台机器支持ENI的个数有限,慎用独占模式,参考,https://help.aliyun.com/document_detail/25378.html ),那我们可以给ingress gateway及需要高性能的业务pod分配独占ENI以提高性能。

总结

经过以上几个点的调整后,可以有效提升istio ingress gateway的承载能力,为生产环境下可能出现的流量峰值提前做好准备,另外,为了应对峰值流量,gateway后端的服务也需要做相应的资源规划及hpa的配套,实测结果显示,端到端的优化配置可有效提升ingress gateway的可靠性及性能,推荐有istio生产需求的用户参照本文提升istio的承载能力。

15783104718493

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
1月前
|
Kubernetes 负载均衡 应用服务中间件
k8s学习--ingress详细解释与应用(nginx ingress controller))
k8s学习--ingress详细解释与应用(nginx ingress controller))
141 0
|
6月前
|
Kubernetes 负载均衡 应用服务中间件
深入理解 Kubernetes Ingress:路由流量、负载均衡和安全性配置
深入理解 Kubernetes Ingress:路由流量、负载均衡和安全性配置
1036 1
|
2月前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
阿里云ACK容器服务生产级可观测体系建设实践
|
2月前
|
Kubernetes 应用服务中间件 nginx
Kubernetes上安装Metallb和Ingress并部署应用程序
Kubernetes上安装Metallb和Ingress并部署nginx应用程序,使用LoadBalancer类型的KubernetesService
143 8
|
1月前
|
缓存 Kubernetes 负载均衡
在K8S中,ingress 有何作用?
在K8S中,ingress 有何作用?
|
3月前
|
Kubernetes 应用服务中间件 API
【Ingress 秘籍】集群进出流量的总管:揭秘 Kubernetes 中 Ingress 的终极奥秘!
【8月更文挑战第25天】Ingress是Kubernetes中用于管理HTTP与HTTPS流量进入集群的核心功能。作为集群内外通信的桥梁,Ingress通过定义规则将外部请求导向内部服务。本文详细介绍了Ingress的基本概念、配置方法及其实现方式。通过使用不同的Ingress控制器(如Nginx、Traefik等),用户可以根据需要选择最适合的方案。文中还提供了示例代码展示如何创建服务、部署应用及配置Ingress规则。
126 6
|
3月前
|
Kubernetes 负载均衡 应用服务中间件
在k8S中,ingress是什么?
在k8S中,ingress是什么?
|
3月前
|
API UED 开发者
超实用技巧大放送:彻底革新你的WinForms应用,从流畅动画到丝滑交互设计,全面解析如何在保证性能的同时大幅提升用户体验,让软件操作变得赏心悦目不再是梦!
【8月更文挑战第31天】在Windows平台上,使用WinForms框架开发应用程序时,如何在保持性能的同时提升用户界面的吸引力和响应性是一个常见挑战。本文探讨了在不牺牲性能的前提下实现流畅动画与交互设计的最佳实践,包括使用BackgroundWorker处理耗时任务、利用Timer控件创建简单动画,以及使用Graphics类绘制自定义图形。通过具体示例代码展示了这些技术的应用,帮助开发者显著改善用户体验,使应用程序更加吸引人和易于使用。
71 0
|
3月前
|
Kubernetes API 网络安全
在K8S中,ingress该如何使用?
在K8S中,ingress该如何使用?
|
4月前
|
Kubernetes 监控 Java
有了k8s还需要gateway网关,nacos配置中心吗
在Kubernetes环境中,服务网关(如Spring Cloud Gateway)和Nacos配置中心补充了k8s的不足。Nacos提供灵活服务路由和动态配置更新,超越k8s基础服务发现。它还支持更复杂的配置管理和实时推送,以及环境隔离和版本控制。作为服务注册中心,Nacos增强k8s服务治理能力,保持技术一致性,并提供额外的安全层及监控功能。
200 0

相关产品

  • 容器服务Kubernetes版