MyCat - 分片 - 分片规则 - 字符串 hash 解析算法 | 学习笔记

简介: 快速学习 MyCat - 分片 - 分片规则 - 字符串 hash 解析算法

开发者学堂课程【全面讲解开源数据库中间件MyCat使用及原理(二):MyCat - 分片 - 分片规则 - 字符串 hash 解析算法】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/756/detail/13273


MyCat - 分片 - 分片规则 - 字符串 hash 解析算法

内容介绍

一.配置

二.配置说明

三.演示 hash 字符串解析算法进行分片

四.原理

 

一.配置

截取字符串中的指定位置的子字符串(即只会截取一个字符串中的一段),进行 hash 算法,算出其 hash 值后,再通过一定的计算,算出分片,配置如下:

<tableRule name=”sharding-by-stringhash>

<rule>

<columns>user_id(//指定分片对象) </columns>

<algorithm>sharding-by-stringhash(//指定分片算法)</algorithm>

</rule>

</tableRule>

//首先,有一个 tableRule 来制定它的分片规则

<function name=”sharding-by-stringhash”class=”io.mycat.route.function.PartitionByString>

<property name=partitionlength>512</property><!-- zero-based-->(//分片处理类)

<property name=”partitionCount”>2</property>

<property name=”hashSlice>0:2(代表子字符串所截的范围)<property>

</function>

 

二.配置说明:

属性

描述

columns

标识将要分片的表字段

algorithm

指定分片函数与 function 的对应关系

class

指定该分片算法对应的类

partitionLength

hash 求模基数; length*count=1024(主要出于性能考虑

partitionCount

分区数

hashSlice

hash 运算位,根据子字符串的 hash 运算; 0 代表 str.length(), -1 代表 str.length()-1,大于 0 只代表数字自身;可以理解为 substring( start ,end) , start 为 0 则只表示 0

 

三.演示 hash 字符串解析算法进行分片

1. 首先,我们需要先配置一个逻辑表

将下面的代码复制

<table name=”tb_strhash”dataNode=”dn1,dn2,dn3”rule=”sharding-by-stringhash”/>

我们需要在此编码当中配置一个逻辑表,如下图所示。

由于此次演示只需要两个分片,因此将 ”dn1,dn2,dn3,” 改为 ”dn1,dn2”

更改是因为上方的代码  “<property name=”partitionCount”>2</property>”

中 Count 为2。只会使用两个分片

image.png

2.然后,我们需要在这里配置一下分片规则。

image.png

如图所示,由于配置规则在 Mycat 文件当中并没有事先声明,因此我们需要手动配置

然后需要在下方声明一个 <function>

此 <function>  即上方配置:

<function name=”sharding-by-stringhash”class=”io.mycat.route.function.PartitionByString>

<property name=partitionlength>512</property><!-- zero-based-->(//分片处理类)

<property name=”partitionCount”>2</property>

<property name=”hashSlice>0:2(代表子字符串所截的范围)<property>

</function>

其中的 512,2 代表此次的分片数量,0:2 代表此次子字符串所截的范围

image.png

接下来需要将上图所示的 user_id 改为 name (此次我们需要根据 name 字段进行分片)

配置好之后,我们就可以重启 Mycat ,执行 Mycat 的重启动。 Mycat 重启完成之后,我们将它关闭,然后再次连接 1,2,3,4,5,6。

接着,在 mysq1> 后输入 use PARTITION_DB; 按回车键后输入 show tables; 回车后得到 hash 表(如图所示)

image.png

3.接下来,需要创建一个表结构

创建表

Create table tb_strhash(

name varchar(20) primary key,

Content varchar(100)

)engine=InnoDB DEFAULT CHARSET=utf8mb4;

4.需要在表中插入数据

插入数据

INSERT INTO tb_strhash (name,content) VALUES (‘T1001’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘ROSE’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘JERRY’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘CRISTINA’,UUID());

INSERT INTO tb_strhash (name,content) VALUES (‘TOMCAT’,UUID());

UUID 为 Count 的值;T1001,ROSE,JERRY,CRISTINA,TOMCAT 即为 name

插入的数据不可能在第三个截点,因为我们所配置的截点的数量为2,且所配置的为 dn1,dn2。

数据的计算方法:

截取 name 中的字符串来进行 hash 运算,然后进行位于运算

 

四.原理

当我们使用分片字符串- hash 解析算法进行分片,它在进行初始化的时候,会初始化出一个数组(如下图所示)。这个数组的长度是从 0 到 1023,一共 1024 个数,那么,前面 512 个数均为 0,后面 512 个数均为 1。

image.png

<property name=”partitionlength”>512</property><!-- zero-based--> <property name=”partitionCount”>2</property>

上方的这段代码决定了数字中的 512 和 2

计算数据的位置原理:

当出现一个字符串时,它会此先进行截取,截取从 0 到 2 这个位 置,然后进行一个 hash 运算。假如 hash 运算的结果为 1728192 6 (1024-1)(如上图所示)。

接下来,它将进行一个位于运算,位于的即为(1024-1),计算的结果将位于 0 到1023 之间。

计算出的结果就会拿到这个索引(1024-1),再到这个数组当中取出对应的值。假如计算结果为 510,拿到的就是 0,那么就会在第一个分片上;假如计算结果为980,拿到的就是 1,那么就会出现在第二个分片上。

相关文章
|
2月前
|
存储 人工智能 算法
从零掌握贪心算法Java版:LeetCode 10题实战解析(上)
在算法世界里,有一种思想如同生活中的"见好就收"——每次做出当前看来最优的选择,寄希望于通过局部最优达成全局最优。这种思想就是贪心算法,它以其简洁高效的特点,成为解决最优问题的利器。今天我们就来系统学习贪心算法的核心思想,并通过10道LeetCode经典题目实战演练,带你掌握这种"步步为营"的解题思维。
|
3月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
848 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
3月前
|
机器学习/深度学习 存储 算法
动态规划算法深度解析:0-1背包问题
0-1背包问题是经典的组合优化问题,目标是在给定物品重量和价值及背包容量限制下,选取物品使得总价值最大化且每个物品仅能被选一次。该问题通常采用动态规划方法解决,通过构建二维状态表dp[i][j]记录前i个物品在容量j时的最大价值,利用状态转移方程避免重复计算子问题,从而高效求解最优解。
536 1
|
3月前
|
算法 搜索推荐 Java
贪心算法:部分背包问题深度解析
该Java代码基于贪心算法求解分数背包问题,通过按单位价值降序排序,优先装入高价值物品,并支持部分装入。核心包括冒泡排序优化、分阶段装入策略及精度控制,体现贪心选择性质,适用于可分割资源的最优化场景。
322 1
贪心算法:部分背包问题深度解析
|
3月前
|
机器学习/深度学习 边缘计算 人工智能
粒子群算法模型深度解析与实战应用
蒋星熠Jaxonic是一位深耕智能优化算法领域多年的技术探索者,专注于粒子群优化(PSO)算法的研究与应用。他深入剖析了PSO的数学模型、核心公式及实现方法,并通过大量实践验证了其在神经网络优化、工程设计等复杂问题上的卓越性能。本文全面展示了PSO的理论基础、改进策略与前沿发展方向,为读者提供了一份详尽的技术指南。
粒子群算法模型深度解析与实战应用
|
3月前
|
机器学习/深度学习 资源调度 算法
遗传算法模型深度解析与实战应用
摘要 遗传算法(GA)作为一种受生物进化启发的优化算法,在复杂问题求解中展现出独特优势。本文系统介绍了GA的核心理论、实现细节和应用经验。算法通过模拟自然选择机制,利用选择、交叉、变异三大操作在解空间中进行全局搜索。与梯度下降等传统方法相比,GA不依赖目标函数的连续性或可微性,特别适合处理离散优化、多目标优化等复杂问题。文中详细阐述了染色体编码、适应度函数设计、遗传操作实现等关键技术,并提供了Python代码实现示例。实践表明,GA的成功应用关键在于平衡探索与开发,通过精心调参维持种群多样性同时确保收敛效率
机器学习/深度学习 算法 自动驾驶
677 0
|
3月前
|
机器学习/深度学习 人工智能 资源调度
大语言模型的核心算法——简要解析
大语言模型的核心算法基于Transformer架构,以自注意力机制为核心,通过Q、K、V矩阵动态捕捉序列内部关系。多头注意力增强模型表达能力,位置编码(如RoPE)解决顺序信息问题。Flash Attention优化计算效率,GQA平衡性能与资源消耗。训练上,DPO替代RLHF提升效率,MoE架构实现参数扩展,Constitutional AI实现自监督对齐。整体技术推动模型在长序列、低资源下的性能突破。
473 8
|
3月前
|
算法 API 数据安全/隐私保护
深度解析京东图片搜索API:从图像识别到商品匹配的算法实践
京东图片搜索API基于图像识别技术,支持通过上传图片或图片URL搜索相似商品,提供智能匹配、结果筛选、分页查询等功能。适用于比价、竞品分析、推荐系统等场景。支持Python等开发语言,提供详细请求示例与文档。
|
5月前
|
机器学习/深度学习 人工智能 编解码
AI视觉新突破:多角度理解3D世界的算法原理全解析
多视角条件扩散算法通过多张图片输入生成高质量3D模型,克服了单图建模背面细节缺失的问题。该技术模拟人类多角度观察方式,结合跨视图注意力机制与一致性损失优化,大幅提升几何精度与纹理保真度,成为AI 3D生成的重要突破。
501 0

热门文章

最新文章