安全稳定实现redis cluster自动化迁移

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介:
背景
 
 

 

目前redis集群最火的是codis和redis cluster(官方),但官方自带工具并没有支持密码操作。那么需要密码认证使用redis cluster集群的同学要仔细看了哦。

 

相信大家很多人已经使用了redis cluster,而且也肯定会用到核心应用,你是否考虑过如下问题?

 

  1. redis cluster无密码,被改数据

  2. redis cluster无密码,被flushall (你是否有要哭的冲动哈哈)

  3. redis cluster无密码,数据在光天化日(你对用户不负责)

  4. redis cluster无密码,你要担心各种被黑(日志好苦)

 

 

此时你是否需要密码认证?(我猜你想立刻马上),哈哈问题来了,你在创建集群和管理时是否遇到如下麻烦?

 

  1. redis cluster 官方redis-trib.rb 不支持密码,你要手工用命令一个一个加入集群

  2. 添加减节点不方便

  3. 更重要的是你的分片工具不能用,你要抓狂么?

  4. 管理需要手工

  5. 你要疯掉

 

 

有没有办法解决呢?有,我相信很多公司已经会用认证方式来管理,只是目前我是没搜到相关资料。怎么办?

 

我有办法!

 

  1. 原封不动的封装了redis cluster 集群添加减节点功能,并支持密码认证

  2. 针对对同台机器多master挂掉后集群不可用时,自动快速迁移槽位进行修复,保证程序可用

  3. 自动对新加节点迁移槽位

  4. 自动迁移槽位和数据给指定节点

  5. 自动根据当前结点master进行自动分片

 

 

你是不是已经心动了呢?那么接下来让你更想行动!

 

Redis cluster 集群介绍
 
 

 

  1. 多个Redis间节点间共享数据的程序集

  2. 通过分区(partition)来提供一定程度的可用性

  3. 使用数据分片(sharding)而非一致性哈希(consistency hashing)来实现包含 16384 个哈希槽,也就是可以扩展16384实例

  4. 节点自动发现,从节点自动升级为主节点无需人工操作

  5. slave->master 选举,自动集群容错

  6. 无中心化

  7. gossip 协议来发布广播消息,基于P2P协议,无代理

  8. 水平扩展

  9. 在Cluster推出之前,可用性要靠Sentinel保证。有了集群之后也自动具有了Sentinel的监控和自动Failover能力。

  10. 具体参考:官方文档:http://www.redis.cn/topics/cluster-tutorial.html

  11. 官方使用自带的ruby工具(redis-trib.rb)不支持密码

 

 

集群相关命令介绍

 

1、集群

 

\

 

2、节点

 

 

3、键

 

 

环境准备
 

 

1、程序下载地址:

 

 

2、系统依赖环境:

 

 

命令使用方法:

 

 

 

机器环境准备
 
 

 

安装部署:

 

ip地址:

 

 

1、下载安装redis在此不做介绍

 

 

2、两台机器分别创建7000-7002端口并启动redis

 

ip地址及端口如下:至于主从怎么安排自己定义(但在生产环境建议主从分开部署在不同机器)

 

主要文件配置

 

 

迁移工具对集群进行测试
 
 

 

1、在218上启动各个redis后 ,查看当前集群信息

 

 

2、利用初始化槽位slot,将所有槽位分给此节点

 

 

 

集群状态

 

查看日志显示如下:说明槽位已经ok,状态正常

 

 

2.1 查看集群信息已经分配

 

再次显示集群状态:

 

 

2.2 在205 上启动所有节点

 

执行如下命令,我是将不同端口使用不通配置文件,可自行安排

 

 

2.3  在218 上添加新节点

 

添加新节点

 

 

2.4 查看集群状态

 

 

2.5 对新加的节点进行分配slot

 

2.5.1 自动分配slot给205:7000和218:7000 节点

 

#注:根据本机多个master 进行自动分配。

#对CLUSTER SETSLOT <slot> NODE <node_id> 此命令进行的循环封装。会默认把0-16383个槽位均分到当前master节点

#分配方法:16383/当前master节点总数 然后进行节点循环设置槽位

 

 

#注意红色ip部分,显示对81槽位进行广播,在205 和218 上都进行广播,将81给node节点2404b44e4937c65c73cbccb778776e392619c776 ,节点是自行判断无需指定

 

2.5.2 查看集群信息:

 

#发现已经平均分配

 

 

2.5.3 插入数据测试:

 

#先手动进行插入数据测试集群是否正常

#自动set数据测试脚本如下

#-c 参数为支持集群模式

 

 

3、手动迁移数据

 

3.1 先手动进行模拟测试:

 

#为了测试工具的可用性及对比,先进行手动测试,看是否迁移数据成功

 

显示集群信息

 

 

3.2 将9842 槽位从172.16.10.218:7000节点导入172.16.10.205:7000节点

 

 

3.3 将9842 槽位从172.16.10.218:7000节点迁出172.16.10.205:7000节点

 

 

3.4 计算218 节点9842 槽位的key

 

 

3.5 列出key值

 

 

3.6 迁移key

 

 

 

3.7 获取143511 key的值

 

 

3.8 再次获取集群信息:

 

 

4、自动迁移

 

4.1 218:7000 迁移槽位及数据到 205:7000

 

#上面手动演示了数据迁移正常流程

#此时是封装了上面手动数据迁移的命令,将8193-8999槽位 迁走

 

集群信息如下

 

 

 

4.2 在查看集群信息

 

 

4.3 随机找个key值计算槽位:

 

 

4.4 get key值测试:

 

 

4.5 再到205:7000 节点读取

 

 

4.6 设置密码:

 

 

5、添加减节点测试

 

 

5.1 添加节点

 

 

5.2 添加从节点

 

将205每个端口都作为218对应端口的从(可根据自己进行定义)

#对cluster replicate命令的封装

 

 

获取集群信息

 

 

5.3 删除从节点

 

 

5.4 修改从节点

 

 

5.5 提升slave为master

 

将218:7003端口从节点提升为master

 

获取集群信息

 

 

获取集群状态

 

 

测试集群故障
 
 

 

 

1、自动分片

 

2、关闭其中一个主

 

 

3、查看集群状态

 

 

作者介绍  庞阔

  • 优朋普乐高级数据库工程师。

  • 做过运维,熟练使用常见web应用,目前主要负责公司MySQL数据库、memcache、redis cluster的管理维护,及数据库平台的研发,擅长利用perl、shell、php编写管理工具。

  • 参与公司各项目数据库设计和架构评审。


本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2016-04-14

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
16天前
|
弹性计算 安全 API
长桥科技:通过Terraform自动化为客户提供安全、高效的产品服务体验
长桥科技通过采用Terraform加速业务上线,实现云资源的高效管理。作为一家金融科技公司,长桥为证券、资管等机构提供数字化解决方案。其SRE团队利用Terraform构建CICD流程,自动化配置云资源及应用配置,简化了基础设施管理,提升了开发效率。通过模块化和自动化部署,新租户的配置从一天缩短至20分钟,显著减少了人力成本和操作复杂度。此外,长桥还遵循编程规范,确保代码的可测试性和复用性,进一步优化了云上基础设施的构建与管理。
|
25天前
|
存储 缓存 运维
阿里云先知安全沙龙(上海站)——后渗透阶段主机关键信息自动化狩猎的实现与应用
本文介绍了在后渗透测试中使用LSTAR工具和PowerShell脚本进行RDP状态查询、端口获取及凭据收集的过程,强调了高强度实战场景下的OPSEC需求。通过MITRE ATT&CK框架的应用,详细阐述了凭证访问、发现和收集等关键技术,确保攻击者能够隐蔽、持续且高效地渗透目标系统,最终获取核心数据或控制权。文中还展示了SharpHunter等工具的自动化实现,进一步提升了操作的安全性和效率。
|
3月前
|
NoSQL 安全 Redis
Redis 安全
10月更文挑战第20天
38 4
|
3月前
|
NoSQL 安全 Redis
AWS迁移教程,Redis迁移到Elasticache
AWS迁移教程,Redis迁移到Elasticache
|
3月前
|
数据采集 SQL 运维
企业出海WAS安全自动化解决方案
企业出海WAS安全自动化解决方案
|
4月前
|
NoSQL 安全 容灾
阿里云DTS踩坑经验分享系列|Redis迁移、同步
阿里云数据传输服务DTS在帮助用户迁移Redis数据、同步数据时,在某些复杂场景下会出现报错,或者源库与目标库数据不一致的问题,给用户带来困扰。本文介绍了DTS Redis到Redis迁移、同步过程中的典型问题,以帮助用户更好地使用DTS。
304 2
|
5月前
|
缓存 开发框架 NoSQL
【Azure Redis 缓存】VM 里的 Redis 能直接迁移到 Azure Cache for Redis ? 需要改动代码吗?
【Azure Redis 缓存】VM 里的 Redis 能直接迁移到 Azure Cache for Redis ? 需要改动代码吗?
|
5月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Azure Cache for Redis 如何迁移
【Azure Redis 缓存】Azure Cache for Redis 如何迁移
|
5月前
|
存储 人工智能 NoSQL
AI自动化!redis高效部署脚本
AI自动化!redis高效部署脚本
68 0
|
5月前
|
运维 安全 网络安全
云端安全之盾:云计算与网络安全的协同演进运维自动化之路:从传统到现代化的转变
【8月更文挑战第23天】在数字化浪潮下,云计算以其灵活性和可扩展性成为企业数字化转型的重要推手。然而,随着云服务的快速发展,网络安全威胁也日益增多。本文将探讨云计算与网络安全如何相互促进,共同成长,以确保信息安全,并分析云服务提供商采取的安全策略以及企业在采用云服务时应注意的安全实践。

热门文章

最新文章