集群-集群储存结构设计|学习笔记

简介: 快速学习集群-集群储存结构设计

发者学堂课程【Redis 入门到精通(进阶篇)集群-集群储存结构设计学习笔记与课程紧密联系,让用户快速学习知识

课程地址https://developer.aliyun.com/learning/course/765/detail/13467


集群-集群储存结构设计

 

内容介绍

一、 数据存储设计

二、 内部通讯设计

 

一、数据存储设计

通过算法设计,计算出 key 应该保存的位置。如果一个 key 对应多台计算机,首先key 通过一个方法运行之后会得到一个值,这个值再通过16384后会得到一个数,通过这个数确定在计算机中的存储位置。

image.png

Redis 服务器会把他存储的计算机进行16384等分,每一份代表一个存储空间,每一台计算机保存若干个这样的存储空间。每一份代表的是一个存储空间,不是存储一个 key 的保存空间。

image.png

key 按照计算出的结果放到对应的存储空间

image.png

增强可扩展性。假定现在有三个存储空间,现在增加一个节点。增加节点后会经过计算将每个节点的一部分加到新的节点中,这样就会拥有很强的扩展性。

image.png

用来放数据的空间区域叫做槽,所谓的增去节点就是改变槽所存储位置不同。多台机器合作工作就是一个机器持有一定的槽,当加机器时把他的槽分一部分给新的机器,如果去机器,把要去的槽返回到现有的机器中。

 

二、内部通讯设计

image.png

各个数据库相互通信,保存各个库中槽的编号数据。假定现有一台计算机发出一个key 访问,首先通过 key 经过两个算法后会得到 key 对应的存储槽位置。如果一次命中直接返回,如果没有一次命中,他会根据记录槽位置去告知具体位置。做加密的过程就是为了确定存储位置保证最多两次命中。

相关文章
|
2月前
|
存储 运维 Cloud Native
Apache Doris 与 ClickHouse:运维与开源闭源对比
Doris 与 ClickHouse 各有优势,但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面,Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言,Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎,但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。
408 9
Apache Doris 与 ClickHouse:运维与开源闭源对比
|
存储 NoSQL Java
高可用mongodb集群(分片+副本):性能测试
高可用mongodb集群(分片+副本):性能测试
919 0
|
网络协议 网络安全 Apache
Apache的配置详解
Apache的配置详解
941 7
|
存储 算法 NoSQL
(三)漫谈分布式之集群篇:探寻N个9高可用与PB级数据存储的实现原理!
本文来详细聊聊集群的各方面知识,为诸位量身打造出结构化的集群知识体系。
593 0
|
消息中间件 存储 网络协议
操作系统的心脏:深入理解进程间通信(IPC)机制
在现代计算机系统中,操作系统扮演着至关重要的角色,而进程间通信(IPC)作为操作系统的核心功能之一,极大地影响着系统的性能和稳定性。本文将通过浅显易懂的语言,详细探讨进程间通信的基本原理、主要类型及其实际应用,旨在为读者提供一个清晰且全面的理解和认识。 ##
832 1
|
存储 Kubernetes 调度
在K8S中,deployment的创建过程包括什么?
在K8S中,deployment的创建过程包括什么?
|
Kubernetes 网络协议 调度
在K8S中,flannel可以固定节点IP和Pod的IP地址吗?
在K8S中,flannel可以固定节点IP和Pod的IP地址吗?
|
Kubernetes 安全 持续交付
在K8S中,二进制安装和Kubeadm安装有什么区别?
在K8S中,二进制安装和Kubeadm安装有什么区别?
|
存储 监控 NoSQL
MongoDB分片:打造高性能大数据与高并发处理的完美解决方案
MongoDB分片:打造高性能大数据与高并发处理的完美解决方案
674 0
|
JavaScript
js生成18位身份证号
js生成18位身份证号
446 0