ZooKeeper 典型应用:命名服务&分布式锁|学习笔记

简介: 快速学习 ZooKeeper 典型应用:命名服务&分布式锁

开发者学堂课程【大数据 ZooKeeper 快速入门 ZooKeeper 典型应用:命名服务&分布式锁】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/549/detail/7575


ZooKeeper 典型应用:命名服务&分布式锁


内容介绍

一、命名服务(Naming Service)

二、分布式锁

三、控制时序

 

一、命名服务(Naming Service)

在分布式系统中,通过使用命名服务,客户端应用能够根据指定名字来获取资源或服务的地址,提供者等信息。

被命名的实体通常可以是集群中的机器,提供的服务地址,远程对象等等,这些都可以统称为名字(Name)。

其中较为常见的就是一些分布式服务框架中的服务地址列表。

通过调用ZK提供的创建节点的 API,能够很容易创建一个全局唯一的 path,这个path 就可以作为一个名称。

阿里巴巴集团开源的分布式服务框架 Dubbo 中使用 ZooKeeper 来作为其命名服务,维护全局的服务地址列表。

一个服务的提供者发布服务的时候,Dubbo 会把相应的地址注册到 ZooKeeper 中,因为在 ZooKeeper 中路径是全局唯一的。

比如不可能创建一摸一样的节点在两个路径下或者在同一路径下节点不可能重复。

因为全局路径的唯一性,所以导致路径和发布的服务形成一对一的映射,这样通过路径就可以找到发布的服务,就完成了服务的注册,服务使用者通过API就可以获取到路径,从而获取到对应的服务地址,这样就完成了命名服务。

 

二、分布式锁

锁主要体现在比如多个线程,人们同时在获取一个数据,这时如果没有锁的控制,势必会造成紊乱现象。

在分布式状态下也会造成这种情况,比如在分布式应用,人们都想要操作一块数据,如果两个人同时进行,这时候问题就出现了。

分布式锁,这个主要得益于 ZooKeeper 保证了数据的强一致性。

锁服务可以分为两类一个是保持独占,另一个是控制时序。

所谓保持独占,就是所有试图来获取这个锁的客户端,最终只有一个可以成功获得这把锁。

通常的做法是把 zk 上的一个 znode 看作是一把锁,通过

createznode 的方式来实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了这把锁。

比如在集群中有很多的应用,这些应用要同时去操纵一些数据,如果没有所谓的锁控制,都去操作这个文件,势必造成文件紊乱性,如下:

比如应用a对数据做删除操作,应用c修改,应用 b 获取,数据就会出现章数据的发生。

这时用 ZooKeeper 就可以完成分布式锁的功能,在获取之前要求所有应用先去 zk 上指定目录创建节点/aaa

都去创建节点,但只能有一个创建成功,比如应用 b 因为网络关系,连接比较快,连上后先创建了一个 a,这时候其他应用再去创建结点的时候,因为现在节点已经存在,所以就会报错。节点要求:要求是临时节点并且是非序列化。

比如这时,b 应用连接到zk集群创建了节点,这时在路径下就有了一个/aaa 节点,这时其他应用创建节点就会失败,相当于谁创建成功,谁就获得访问数据文件的权限,如下:

image.png

因为应用b获得了目录创建的权限,因此应用b就有权限去获得数据文件的相关操作,操作完成后需要将锁释放,所以操作完成后断开跟 zk 的链接。

一旦断开连接,临时节点就会被删除,其他应用如果需要操作这个文件的话,就去监听这个目录是否存在。

因为可以设置监听目录是否存在,就会造成比如应用a发现节点已经存在了,那么就设置一个监听,当节点删除的时候应用 a 可以获取到监听,之后再去创建。

这样就完成了保持在同一时刻只有一个应用可以获取到目录的创建能力,哪个应用创建成功,就拥有了一把锁,这是一个抽象地表示。

 

三、控制时序

控制时序,就是所有试图来获取这个锁的客户端,最终都是会被安排执行,只是有个全局时序了。做法和上面基本类似,只是这里 /distribute_lock 已经预先存在,客户端在它下面创建临时有序节点(这个可以通过节点的属性控

制:CreateMode.EPHEMERAL_SEQUENTIAL来指定)。

Zk的父节点(/distribute_lock)维持一份sequence,保证子节点创建的时序性,从而也形成了每个客户端的全局时序。

比如从大到小、从小到大,还是在路径下创建节点,开启序列化特性就会出现应用 a 创建第一个编号为00000,下一个应用 c 创建编号为00001,再下一个应用b是00002,要想控制时序就可以根据编号进行排版。

比如谁的编号最小谁优先访问,那么应用 a 先访问,接着是应用c、应用b,通过序列化特性就完成了时序性,在时间上有先后的顺序。

创建节点如果想满足于使用完成后就消除的话,那么就要把节点创建成序列化短站,比如应用 a 访问之后断开连接,那么节点就消除,如果应用 a 想再次访问,再次创建节点,这时就变为了00003,就排在这些节点的后面。

通过这两种方式可以在 ZooKeeper 中实现分布式锁的应用,前提是要把 ZooKeeper 核心,节点类型以及机制搞清楚。

相关文章
|
2月前
|
消息中间件 分布式计算 资源调度
《聊聊分布式》ZooKeeper与ZAB协议:分布式协调的核心引擎
ZooKeeper是一个开源的分布式协调服务,基于ZAB协议实现数据一致性,提供分布式锁、配置管理、领导者选举等核心功能,具有高可用、强一致和简单易用的特点,广泛应用于Kafka、Hadoop等大型分布式系统中。
|
7月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
746 35
|
6月前
|
分布式计算 Java 大数据
Java 大视界 —— 基于 Java 的大数据分布式计算在气象数据处理与天气预报中的应用进展(176)
本文围绕基于 Java 的大数据分布式计算在气象数据处理与天气预报中的应用展开,剖析行业现状与挑战,阐释技术原理,介绍其在数据处理及天气预报中的具体应用,并结合实际案例展示实施效果。
|
9月前
|
消息中间件 人工智能 监控
文生图架构设计原来如此简单之分布式服务
想象一下,当成千上万的用户同时要求AI画图,如何公平高效地处理这些请求?文生图/图生图大模型的架构设计看似复杂,实则遵循简单而有效的原则:合理排队、分工明确、防患未然。
358 14
文生图架构设计原来如此简单之分布式服务
Java 大视界 -- 基于 Java 的大数据分布式存储在视频监控数据管理中的应用优化(170)
本文围绕基于 Java 的大数据分布式存储在视频监控数据管理中的应用展开,分析管理现状与挑战,阐述技术应用,结合案例和代码给出实操方案。
|
12月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
11月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
10月前
|
机器学习/深度学习 存储
DeepSeek进阶开发与应用4:DeepSeek中的分布式训练技术
随着深度学习模型和数据集规模的扩大,单机训练已无法满足需求,分布式训练技术应运而生。DeepSeek框架支持数据并行和模型并行两种模式,通过将计算任务分配到多个节点上并行执行,显著提高训练效率。本文介绍DeepSeek中的分布式训练技术,包括配置与启动方法,帮助用户轻松实现大规模模型训练。数据并行通过`MirroredStrategy`同步梯度,适用于大多数模型;模型并行则通过`ParameterServerStrategy`异步处理大模型。DeepSeek简化了分布式环境配置,支持单机多卡和多机多卡等场景。
|
11月前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
287 1
|
11月前
|
分布式计算 数据处理 MaxCompute
云产品评测|分布式Python计算服务MaxFrame
云产品评测|分布式Python计算服务MaxFrame
229 2