故障转移,服务发现,负载均衡,居然都和它有关!!!

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
网络型负载均衡 NLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 故障转移,服务发现,负载均衡,静态权重/动态权重负载均衡。

没错,说的就是连接池,玩互联网架构,连接池是必须要掌握的。 什么是连接池?创建与管理连接缓冲池的技术,本质是资源复用,不用频繁创建与销毁连接,能提高性能。画外音:数据库连接池,服务连接池,都是连接池。 微服务分层架构中,连接池扮演着极其重要的角色。
image.png

如上图:(1)上层虚线框,是web集群;(2)下层虚线框,是service集群;(3)绿色框,代表一条上下游建立的连接;(4)蓝色框,代表连接池; 此例中,一个调用方会与一个服务节点建立2条连接,服务集群共3个集群,故连接池总共6条连接,从c1到c6。 上层调用方,除了会从连接池中拿连接收发报文访问下游服务外,互联网架构中,还有哪些技术点与连接池相关呢? 一、故障转移与服务发现
image.png

如上图:(1)故障转移,假如旧的服务节点s1出现了故障,c1和c2连接失效,会被从连接池中剔除,后续请求不会再发送到故障的节点中;(2)服务发现,假如新的服务节点s4上线,c7和c8连接建立,会被加入到连接池中来,后续请求会发送到新增的节点中; 动态删除连接与新增连接,这就是动态连接池 服务发现,如何感知到新的节点s4上线呢? 二、负载均衡采用轮询的策略,逐个使用连接池中的连接,可以实现对下游服务访问的负载均衡。 采用完全随机的策略,也能实现负载均衡。
image.png

如上图:给每个连接一个相同的权重,取连接访问下游时,采用一个随机算法,落到哪个格子用哪个连接,还是上面的例子:n = random() % 6 + 1;n=[1,2],访问s1;n=[3,4],访问s2;n=[5,6],访问s3; 3个区间的宽度相同,即落到某个服务的概率相等,负载是均衡的。 那么,如果服务节点的服务能力有差异,有的处理能力强,有的处理能力弱,怎么办呢? 三、静态权重负载均衡
image.png

如上图:给每个服务配置一个不同的权重,连接池初始化时,不同服务的区间大小有差异,取连接访问下游时,落到某个格子的概率也会有差异:n = random() % 16 + 1;n=[1,2],访问s1;n=[3,6],访问s2;n=[7,16],访问s3; 3个区间的宽度与服务的权重成正比,即落到某个服务的概率等同权重画外音:nginx就支持这么玩,但静态权重实在太粗暴了。
 那么,如果服务节点的服务能力有差异,但又很难用静态权重标识,怎么办呢? 四、动态权重负载均衡
image.png

如上图:连接池初始化时,为连接分配一个动态的权重。画外音:服务不再需要配置了。 仍按照之前的方法分配负载,只是:(1)连接处理超时,动态权重下降;(2)连接处理成功,动态权重上升;如此一来,就能够根据服务的实际处理能力分配负载了,是不是有点意思? 故障转移,服务发现,负载均衡,静态权重/动态权重负载均衡,你有收获吗?

本文转自“架构师之路”公众号,58沈剑提供。

相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
目录
相关文章
|
21天前
|
弹性计算 负载均衡 容灾
slb单点故障风险
【11月更文挑战第3天】
104 52
|
2月前
|
负载均衡 网络协议 调度
Docker Swarm服务发现与负载均衡
【10月更文挑战第8天】
51 1
|
3月前
|
负载均衡 网络协议 Unix
Nginx负载均衡与故障转移实践
Nginx通过ngx_http_upstream_module模块实现负载均衡与故障转移,适用于多服务器环境。利用`upstream`与`server`指令定义后端服务器组,通过`proxy_pass`将请求代理至这些服务器,实现请求分发。Nginx还提供了多种负载均衡策略,如轮询、权重分配、IP哈希等,并支持自定义故障转移逻辑,确保系统稳定性和高可用性。示例配置展示了如何定义负载均衡设备及状态,并应用到具体server配置中。
|
4月前
|
消息中间件 负载均衡 Kafka
Kafka 实现负载均衡与故障转移:深入分析 Kafka 的架构特点与实践
【8月更文挑战第24天】Apache Kafka是一款专为实时数据处理和流传输设计的高性能消息系统。其核心设计注重高吞吐量、低延迟与可扩展性,并具备出色的容错能力。Kafka采用分布式日志概念,通过数据分区及副本机制确保数据可靠性和持久性。系统包含Producer(消息生产者)、Consumer(消息消费者)和Broker(消息服务器)三大组件。Kafka利用独特的分区机制实现负载均衡,每个Topic可以被划分为多个分区,每个分区可以被复制到多个Broker上,确保数据的高可用性和可靠性。
79 2
|
5月前
|
负载均衡 Kubernetes 算法
K8s服务发现与负载均衡的技术探索
【7月更文挑战第15天】K8s通过Service资源对象和kube-proxy组件实现了高效、灵活的服务发现和负载均衡机制。通过合理选择Service类型、优化kube-proxy配置以及使用Ingress进行高级路由,可以确保应用在K8s集群中高效、可靠地运行。随着云原生技术的不断发展,K8s的服务发现和负载均衡机制也将不断完善和优化,为更多场景提供强大的支持。
|
5月前
|
负载均衡 监控 Kubernetes
Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。
Service Mesh 是一种用于处理服务间通信的基础设施层,它通常与微服务架构一起使用,以提供诸如服务发现、负载均衡、熔断、监控、追踪和安全性等功能。
|
7月前
|
域名解析 缓存 运维
【域名解析DNS专栏】DNS解析策略:如何实现负载均衡与故障转移
【5月更文挑战第23天】DNS在互联网中扮演关键角色,将域名转换为IP地址。本文探讨DNS的负载均衡和故障转移技术,以增强服务可用性和性能。负载均衡包括轮询(简单分配流量)和加权轮询(按服务器处理能力分配)。故障转移通过主备策略和TTL值实现快速切换,确保服务连续性。实践案例展示了在电商网站如何应用这些策略。DNS策略优化可提升网站速度和稳定性,借助云服务和智能工具,DNS管理更加高效。
602 1
【域名解析DNS专栏】DNS解析策略:如何实现负载均衡与故障转移
|
7月前
|
负载均衡 网络协议 算法
【Docker 专栏】Docker 容器内服务发现与负载均衡
【5月更文挑战第8天】本文探讨了Docker容器中的服务发现与负载均衡。服务发现通过环境变量、DNS或集中式系统(如Consul、Zookeeper)来定位服务实例。负载均衡则采用轮询、随机等算法,可通过软件负载均衡器、云服务或容器编排工具(如Kubernetes)实现。服务发现与负载均衡结合使用,确保请求有效分发和系统稳定性。面对动态性、网络延迟及大规模部署的挑战,需采取相应措施优化。选择合适技术并持续优化,能提升Docker容器应用的性能和可靠性。
261 5
【Docker 专栏】Docker 容器内服务发现与负载均衡
|
6月前
|
负载均衡 算法 应用服务中间件
解密Nginx负载均衡:实现流量分发与故障转移
解密Nginx负载均衡:实现流量分发与故障转移
173 0
|
7月前
|
负载均衡 算法 应用服务中间件
解密Nginx负载均衡:实现流量分发与故障转移
解密Nginx负载均衡:实现流量分发与故障转移
301 1