【Redis7】Redis7 集群(重点:哈希槽分区)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 本文重点介绍Redis7 集群概述、作用、集群算法-分片-槽位slot、集群环境案例步骤、集群常用操作命令和CRC16算法。

【大家好,我是爱干饭的猿,本文重点介绍Redis7 集群概述、作用、集群算法-分片-槽位slot、集群环境案例步骤、集群常用操作命令和CRC16算法。

后续会继续分享Redis7和其他重要知识点总结,如果喜欢这篇文章,点个赞👍,关注一下吧】

上一篇文章:《【Redis7】 Redis7 哨兵(重点:哨兵运行流程和选举原理)》


目录

🍔1. 概述

🍔2. 作用

🍔3. 集群算法-分片-槽位slot

3.1 redis集群的槽位slot

3.2 redis集群的分片

3.3 这样做的优势

3.4 slot槽位映射的3种解决方案

1. 哈希取余分区

2. 一致性哈希算法分区

3. 哈希槽分区

3.5 为什么redis集群的最大槽数是16384个?

3.6 Redis集群不保证强一致性,这意味着在特定的条件下,Redis集群可能会丢掉—些被系统收到的写入请求命令

🍔4. 集群环境案例步骤

4.1. 3主3从redis集群配置

4.2 3主3从redis集群读写,检验集群状态

4.3. 主从容错切换迁移案例

4.4. 主从扩容案例

4.5. 主从缩容案例

🍔5. 集群常用操作命令和CRC16算法分析

5.1 集群是否完整才能对外提供服务

5.2 CRC16算法

5.3 集群常用操作命令


集群:

image.gif编辑

🍔1. 概述

    • 由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展每个复制集只负责存储整个数据集的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序集。
    • Redis集群是一个提供在多个Redis节点间共享数据的程序集
    • Redis集群可以支持多个Master

    🍔2. 作用

      • Redis集群支持多个Master,每个Master又可以挂载多个Slave
        • 读写分离
        • 支持海量数据的高可用
        • 支持海量数据的读写存储操作
          • 由于Cluster自带Sentinel的故障转移机制,内置了高可用的支持,无需再去使用哨兵功能
          • 客户端和Redis的节点连接,不再需要连接集群中所有节点,只需连接集群中的任意一个可用节点即可
          • 槽位slot负责分配到各个物理服务节点,由对应的集群来负责维护节点、插槽和数据之间的关系

          🍔3. 集群算法-分片-槽位slot

          集群的密钥空间被分成16384个槽,有效地设置了16384个主节点的集群大小上限(但是,建议的最大节点大小约为1000个节点)。

          集群中的每个主节点处理16384个哈希槽的一个子集。当没有集群重新配置正在进行时(即哈希槽从一个节点移动到另一个节点),集群是稳定的。当集群稳定时,单个哈希槽将由单个节点提供服务(但是,服务节点可以有一个或多个副本,在网络分裂或故障的情况下替换它,并且可以用于扩展读取陈旧数据是可接受的操作)。

          3.1 redis集群的槽位slot

          image.gif编辑3.2 redis集群的分片

          image.gif编辑

          3.3 这样做的优势

          image.gif编辑

          3.4 slot槽位映射的3种解决方案

          1. 哈希取余分区

          image.gif编辑2. 一致性哈希算法分区

          一致性哈希算法在1997年由麻省理工学院中提出的,设计目标是为了解决分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不OK了。

          步骤1:算法构建一致性哈希环

          image.gif编辑

          步骤2:服务器IP节点映射

          image.gif编辑

          步骤3:key 落到服务器的落键规则

          image.gif编辑

          优点:

          1. 一致性哈希算法的容错性

          image.gif编辑

          2. 一致性哈希算法的扩展性

          image.gif编辑

          缺点:一致性哈希算法的数据倾斜问题

          image.gif编辑小节:

          为了在节点数目发生改变时尽可能少的迁移数据,将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。 而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。

          优点:加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。

          缺点 :数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。

          3. 哈希槽分区

          a. 概念: 为解决一致性哈希算法的数据倾斜问题,哈希槽实质就是一个数组,数组[0,2^14 -1]形成hash slot空间。

          b. 作用:解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。

          槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配

          c. 多少个hash槽:

          一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。

          集群会记录节点和槽的对应关系,解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取模,余数是几key就落入对应的槽里。HASH_SLOT = CRC16(key) mod 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。

          d. 哈希槽计算:

          image.gif编辑

          3.5 为什么redis集群的最大槽数是16384个?

          (1)如果槽位为65536,发送心跳信息的消息头达8k,发送的心跳包过于庞大。

          在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。 当槽位为65536时,这块的大小是: 65536÷8÷1024=8kb 在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。 当槽位为16384时,这块的大小是: 16384÷8÷1024=2kb 因为每秒钟,redis节点需要发送一定数量的ping消息作为心跳包,如果槽位为65536,这个ping消息的消息头太大了,浪费带宽。

          (2)redis的集群主节点数量基本不可能超过1000个。

          集群节点越多,心跳包的消息体内携带的数据越多。如果节点过1000个,也会导致网络拥堵。因此redis作者不建议redis cluster节点数量超过1000个。 那么,对于节点数在1000以内的redis cluster集群,16384个槽位够用了。没有必要拓展到65536个。

          (3)槽位越小,节点少的情况下,压缩比高,容易传输。

          Redis主节点的配置信息中它所负责的哈希槽是通过一张bitmap的形式来保存的,在传输过程中会对bitmap进行压缩,但是如果bitmap的填充率slots / N很高的话(N表示节点数),bitmap的压缩率就很低。 如果节点数很少,而哈希槽数量很多的话,bitmap的压缩率就很低。

          3.6 Redis集群不保证强一致性,这意味着在特定的条件下,Redis集群可能会丢掉—些被系统收到的写入请求命令

          🍔4. 集群环境案例步骤

          4.1. 3主3从redis集群配置

          1. 找3台真实虚拟机,各自新建文件夹cluster,放集群的配置文件

          mkdir -p /myredis/cluster

          image.gif

          2. 新建6个独立的redis实例服务 ,(一台虚拟机两个)也可以用6个服务器

          image.gif编辑

          conf文件内容如下,(每个配置稍稍不一样,自行修改即可)

          bind 0.0.0.0
          daemonize yes
          protected-mode no
          port 6381
          logfile "/myredis/cluster/cluster6381.log"
          pidfile /myredis/cluster6381.pid
          dir /myredis/cluster
          dbfilename dump6381.rdb
          appendonly yes
          appendfilename "appendonly6381.aof"
          requirepass 111111
          masterauth 111111
          cluster-enabled yes
          cluster-config-file nodes-6381.conf
          cluster-node-timeout 5000

          image.gif

          3. 通过redis-cli命令为6台机器构建集群关系

          注意,注意,注意自己的真实IP地址,-cluster-replicas 1 表示为每个master创建一个slave节点

          redis-cli -a 111111 --cluster create --cluster-replicas 1 192.168.111.175:6381 192.168.111.175:6382 192.168.111.172:6383 192.168.111.172:6384 192.168.111.174:6385 192.168.111.174:6386

          image.gif

          4.2 3主3从redis集群读写,检验集群状态

          链接进入6381作为切入点,查看并检验集群状态

          redis-cli -a 123456 -p 6381 -c    // -c表示集群 不加的话不是按照集群启动的,对于在别的机器上的key,会报错
          cluster nodes       // 查看集群的主从关系
          cluster info        // 查看集群信息     
          info replication    // 查看主从
          cluster keyslot k2  // 查看key的哈希槽位置

          image.gif

          4.3. 主从容错切换迁移案例

          例如:6384(主)-6381(从)

            • 把6384停了,6381会成为master
              • 启动6384,6381还是master,并不会让位
                • Redis集群不保证强一致性,意味着在特定的条件下,Redis集群可能会丢掉一些被系统收到的写入请求命令
                  • 因为本质还是发送心跳包,需要一些时间判断是否down机,如果down机,对应的slave直接成为master
                    • 如果想要原先的master继续做master的话

                      CLUSTER FAILOVER   // 让谁上位 就在谁的端口号下执行这个命令
                      • image.gif

                        4.4. 主从扩容案例

                          • 新建6387、6388 两个服务实例配置文件+启动 (又加了个虚拟机 或者 直接在三个虚拟机里选一个)
                          • 启动87/88两个新的节点实例,此时他们自己都是master

                          image.gif编辑

                            • 将新增的6387节点作为master加入原集群  

                              redis-cli -a 123456  --cluster add-node 192.168.230.114:6387 192.168.238.111:6381
                              • image.gif
                                • 检查集群情况,6381

                                  redis-cli -a 123456 --cluster check 192.168.238.111:6381
                                  • image.gif
                                    • 重新分配槽号

                                      redis-cli -a 123456 --cluster reshard 192.168.238.111:6381
                                      • image.gif

                                        重新分配成本太高,所以前3家各自匀出来一部分,从6381/6383/6385三个旧节点分别匀出1364个坑位,注意本机这里经过调整所以我是需要从6381中分出4096即可

                                          • 再次检查集群情况

                                            redis-cli -a 123456 --cluster check 192.168.238.111:6381
                                            • image.gif
                                              • 为主节点6387分配从节点6388 –cluster-master-id 后跟的是6387的id

                                                redis-cli -a 123456 --cluster add-node 192.168.238.114:6388 192.168.238.114:6387 --cluster-slave --cluster-master-id b861764cbba16a1b21536a3182349748e56f24cc
                                                • image.gif
                                                  • 查看集群信息  

                                                    redis-cli -a 123456 --cluster check 192.168.238.111:6381
                                                    • image.gif

                                                      4.5. 主从缩容案例

                                                      让6388和6387下线

                                                        • 先获得6388的节点id(上图可获取),在集群中将6388删除

                                                          redis-cli -a 123456 --cluster del-node 192.168.238.114:6388 
                                                          411144d66f28e876de5a6433689c8cbfab10686f
                                                          • image.gif
                                                              • 检查节点,只剩7台
                                                              • 将6387的槽号情况,重新分配,先全部都给6381

                                                                redis-cli -a 123456 --cluster reshard 192.168.238.111:6381
                                                                • image.gif
                                                                  • 查看集群情况

                                                                  image.gif编辑

                                                                  🍔5. 集群常用操作命令和CRC16算法分析

                                                                  5.1 集群是否完整才能对外提供服务

                                                                  查看配置配置文件中的 cluster-require-full-coverage

                                                                  默认YES,现在集群架构是3主3从的redis cluster由3个master平分16384个slot,每个master的小集群负责1/3的slot,对应一部分数据。

                                                                  cluster-require-full-coverage: 默认值 yes , 即需要集群完整性,方可对外提供服务 通常情况,如果这3个小集群中,任何一个(1主1从)挂了,你这个集群对外可提供的数据只有2/3了, 整个集群是不完整的, redis 默认在这种情况下,是不会对外提供服务的。

                                                                  如果你的诉求是,集群不完整的话也需要对外提供服务,需要将该参数设置为no ,这样的话你挂了的那个小集群是不行了,但是其他的小集群仍然可以对外提供服务。

                                                                  5.2 CRC16算法

                                                                  Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。集群的每个节点负责一部分hash槽

                                                                  5.3 集群常用操作命令

                                                                  不在同一个slot槽位下的键值无法使用mset、mget等多键操作

                                                                  可以通过{}来定义同一个组的概念,使key中{}内相同内容的键值对放到一个slot槽位去,对照下图类似k1k2k3都映射为x,自然槽位一样

                                                                  mset k1{x} v1 k2{x} v2 K3{x} v3
                                                                  mget k1{x} k2{x} K3{x}
                                                                  CLUSTER COUNTKEYSINSLOT 槽位数字编号 // 1,该槽位被占用,0,该槽位没占用
                                                                  CLUSTER KEYSLOT 键名称   // 该键应该存在哪个槽位上
                                                                  redis-cli -a 123456 -p 6381 -c    // -c表示集群 不加的话不是按照集群启动的,对于在别的机器上的key,会报错
                                                                  cluster nodes       // 查看集群的主从关系
                                                                  cluster info        // 查看集群信息     
                                                                  info replication    // 查看主从
                                                                  cluster keyslot k2  // 查看key的哈希槽位置

                                                                  image.gif


                                                                  分享到此,感谢大家观看!!!

                                                                  如果你喜欢这篇文章,请点赞关注吧,或者如果你对文章有什么困惑,可以私信我。

                                                                  🏓🏓🏓

                                                                  相关实践学习
                                                                  基于Redis实现在线游戏积分排行榜
                                                                  本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
                                                                  云数据库 Redis 版使用教程
                                                                  云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
                                                                  相关文章
                                                                  |
                                                                  5月前
                                                                  |
                                                                  存储 缓存 NoSQL
                                                                  Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
                                                                  redis分布式锁、redisson、可重入、主从一致性、WatchDog、Redlock红锁、zookeeper;Redis集群、主从复制,全量同步、增量同步;哨兵,分片集群,Redis为什么这么快,I/O多路复用模型——用户空间和内核空间、阻塞IO、非阻塞IO、IO多路复用,Redis网络模型
                                                                  Redis常见面试题(二):redis分布式锁、redisson、主从一致性、Redlock红锁;Redis集群、主从复制,哨兵模式,分片集群;Redis为什么这么快,I/O多路复用模型
                                                                  |
                                                                  8天前
                                                                  |
                                                                  存储 NoSQL Redis
                                                                  redis主从集群与分片集群的区别
                                                                  主从集群通过主节点处理写操作并向从节点广播读操作,从节点处理读操作并复制主节点数据,优点在于提高读取性能、数据冗余及故障转移。分片集群则将数据分散存储于多节点,根据规则路由请求,优势在于横向扩展能力强,提升读写性能与存储容量,增强系统可用性和容错性。主从适用于简单场景,分片适合大规模高性能需求。
                                                                  20 5
                                                                  |
                                                                  4月前
                                                                  |
                                                                  监控 NoSQL Redis
                                                                  看完这篇就能弄懂Redis的集群的原理了
                                                                  看完这篇就能弄懂Redis的集群的原理了
                                                                  146 0
                                                                  |
                                                                  1月前
                                                                  |
                                                                  NoSQL 数据处理 Redis
                                                                  Redis 分区
                                                                  10月更文挑战第22天
                                                                  13 1
                                                                  |
                                                                  2月前
                                                                  |
                                                                  存储 NoSQL Redis
                                                                  Redis 哈希(Hash)
                                                                  10月更文挑战第16天
                                                                  41 1
                                                                  |
                                                                  3月前
                                                                  |
                                                                  存储 NoSQL 算法
                                                                  5)深度解密 Redis 的哈希(Hash)
                                                                  5)深度解密 Redis 的哈希(Hash)
                                                                  31 0
                                                                  |
                                                                  4月前
                                                                  |
                                                                  存储 NoSQL 算法
                                                                  Redis6入门到实战------ 三、常用五大数据类型(列表(List)、集合(Set)、哈希(Hash)、Zset(sorted set))
                                                                  这是关于Redis 6入门到实战的文章,具体内容涉及Redis的五大数据类型:列表(List)、集合(Set)、哈希(Hash)、有序集合(Zset(sorted set))。文章详细介绍了这些数据类型的特点、常用命令以及它们背后的数据结构。如果您有任何关于Redis的具体问题或需要进一步的帮助,请随时告诉我。
                                                                  |
                                                                  5月前
                                                                  |
                                                                  存储 缓存 NoSQL
                                                                  Redis问题之一致性Hash是如何解决哈希+取余方法中的稳定性问题的
                                                                  Redis问题之一致性Hash是如何解决哈希+取余方法中的稳定性问题的
                                                                  69 10
                                                                  |
                                                                  5月前
                                                                  |
                                                                  存储 NoSQL 算法
                                                                  Redis 集群模式搭建
                                                                  Redis 集群模式搭建
                                                                  97 5