AI 助理
备案控制台
开发者社区 数据库 文章 正文

MySQL分布式解决方案

2023-08-28 401
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
传统型负载均衡 CLB，每月750个小时 15LCU
推荐场景：
搭建高可用的微信/支付宝小程序服务
简介： MySQL分布式解决方案

屏幕截图 2023-08-28 195743.png

Mycat是一个开源的分布式数据库系统，其核心功能是分表分库，即将一个大表水平分割为多个小表，

存储在后端MySQL或者其他数据库里。取名Mycat原因一是简单好记，另一个则是希望未来能够入驻 Apache，

Apache的开源产品Tomcat也是一只猫。

MyCAT 是一个彻底开源的，面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代Mysql的加强版数据库;

一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群 ; 一个融合内存缓存技术、Nosql技术、

HDFS大数据的新型SQL Server; 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 ; 一个新颖的

数据库中间件产品。

1. MyCAT基础架构准备

1.1 环境准备：

两台虚拟机 db01 db02

每台创建四个mysql实例：3307 3308 3309 3310

1.2 创建相关目录初始化数据

mkdir /data/33{07..10}/data -p
mysqld --initialize-insecure  --user=mysql --datadir=/data/3307/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3308/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3309/data --basedir=/usr/local/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3310/data --basedir=/usr/local/mysql

1.3 准备DB01配置文件和启动脚本

cat >/data/3307/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=7
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3308/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=8
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3309/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=9
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3310/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=10
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/etc/systemd/system/mysqld3307.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3308.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3309.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF

1.4 准备DB02配置文件和启动脚本

cat >/data/3307/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3307/data
socket=/data/3307/mysql.sock
port=3307
log-error=/data/3307/mysql.log
log_bin=/data/3307/mysql-bin
binlog_format=row
skip-name-resolve
server-id=17
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3308/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3308/data
port=3308
socket=/data/3308/mysql.sock
log-error=/data/3308/mysql.log
log_bin=/data/3308/mysql-bin
binlog_format=row
skip-name-resolve
server-id=18
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3309/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3309/data
socket=/data/3309/mysql.sock
port=3309
log-error=/data/3309/mysql.log
log_bin=/data/3309/mysql-bin
binlog_format=row
skip-name-resolve
server-id=19
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/data/3310/my.cnf<
[mysqld]
basedir=/usr/local/mysql
datadir=/data/3310/data
socket=/data/3310/mysql.sock
port=3310
log-error=/data/3310/mysql.log
log_bin=/data/3310/mysql-bin
binlog_format=row
skip-name-resolve
server-id=20
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
EOF
cat >/etc/systemd/system/mysqld3307.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3307/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3308.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3308/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3309.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3309/my.cnf
LimitNOFILE = 5000
EOF
cat >/etc/systemd/system/mysqld3310.service<
[Unit]
Description=MySQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
User=mysql
Group=mysql
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/data/3310/my.cnf
LimitNOFILE = 5000
EOF

1.5  修改权限，启动多实例

chown -R mysql.mysql /data/*
systemctl start mysqld3307
systemctl start mysqld3308
systemctl start mysqld3309
systemctl start mysqld3310
mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

1.6 节点主从规划

箭头指向谁是主库

   192.168.8.10:3307    <----->  192.168.8.20:3307

   192.168.8.10:3309    ------>  192.168.8.10:3307

   192.168.8.20:3309    ------>  192.168.8.20:3307

   192.168.8.20:3308  <----->    192.168.8.10:3308

   192.168.8.20:3310  ----->     192.168.8.20:3308

   192.168.8.10:3310  ----->     192.168.8.10:3308  

1.7 分片规划

shard1：

   Master：192.168.8.10:3307

   slave1：192.168.8.10:3309

   Standby Master：192.168.8.20:3307

   slave2：192.168.8.20:3309

shard2：

   Master：192.168.8.20:3308

   slave1：192.168.8.20:3310

   Standby Master：192.168.8.10:3308

   slave2：192.168.8.10:3310

1.8 开始配置

#第一组四节点结构

# 192.168.8.10:3307 <-----> 192.168.8.20:3307

## db02:

mysql  -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'192.168.8.%' identified by '123';"
mysql  -S /data/3307/mysql.sock -e "grant all  on *.* to root@'192.168.8.%' identified by '123'  with grant option;"

## db01:

mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.20', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"

## db02:

mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.10', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"

=======================

# 192.168.8.10:3309 ------> 192.168.8.10:3307

## db01:

mysql  -S /data/3309/mysql.sock  -e "CHANGE MASTER TO MASTER_HOST='192.168.8.10', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock  -e "start slave;"
mysql  -S /data/3309/mysql.sock  -e "show slave status\G"

# 192.168.8.20:3309 ------> 192.168.8.20:3307

## db02:

mysql  -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.20', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock -e "start slave;"
mysql  -S /data/3309/mysql.sock -e "show slave status\G"

#第二组四节点

#192.168.8.20:3308 <-----> 192.168.8.10:3308

## db01:

mysql  -S /data/3308/mysql.sock -e "grant replication slave on *.* to repl@'192.168.8%' identified by '123';"
mysql  -S /data/3308/mysql.sock -e "grant all  on *.* to root@'192.168.8.%' identified by '123'  with grant option;"

## db02:

mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.10', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

## db01:

mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.20', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

# 192.168.8.20:3310 -----> 192.168.8.20:3308

## db02:

mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.20', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"

# 192.168.8.10:3310 -----> 192.168.8.10:3308

## db01:

mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='192.168.8.10', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"

1.9  检测主从状态

mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Yes
mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Yes

==================================================================

注：如果中间出现错误，在每个节点进行执行以下命令,从第1.8步重新开始即可

mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"

==================================================================

2. MyCAT安装

2.1 预先安装Java运行环境

yum install -y java

2.2下载

http://www.mycat.org.cn/

2.3 解压文件

tar xf Mycat-server-1.6.7.1-release-20190627191042-linux.tar.gz -C /usr/local

2.4 软件目录结构

ls /usr/local/mycat

bin  catlet  conf  lib  logs  version.txt

2.5 启动和连接

配置环境变量

vim /etc/profile

export PATH=/usr/local/mycat/bin:$PATH

保存退出

source /etc/profile

启动

vim /usr/local/mycat/conf/wrapper.conf

添加：

wrapper.startup.timeout=300

保存退出

mycat start

连接mycat：

mysql -uroot -p123456 -h 127.0.0.1 -P8066

3. 数据库分布式架构方式

3.1 垂直拆分

3.2 水平拆分

   range

   取模

   枚举

   hash

   时间

   等等

4. Mycat基础应用

4.1 主要配置文件介绍

rule.xml    *****,分片策略定义

schema.xml      *****,主配置文件

server.xml    ***  ,mycat服务有关，mycat管理员的账号和密码

log4j2.xml      ***  ,记录日志有关

*.txt        ,分片策略使用的规则  

4.2  用户创建及数据库导入

db01:

mysql -S /data/3307/mysql.sock 
grant all on *.* to root@'192.168.8.%' identified by '123';
source /root/world.sql
mysql -S /data/3308/mysql.sock 
grant all on *.* to root@'192.168.8.%' identified by '123';
source /root/world.sql

4.3 配置文件结构介绍

cd /usr/local/mycat/conf
mv schema.xml schema.xml.bak
vim schema.xml 
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">

mycat 逻辑库定义:

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">  
</schema>

==================================================

数据节点定义:

<dataNode name="sh1" dataHost="laoli1" database= "world" />

   ==================================================    

后端主机定义:

        <dataHost name="laoli1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
        <writeHost host="db1" url="192.168.8.10:3307" user="root" password="123">
        <readHost host="db2" url="192.168.8.10:3309" user="root" password="123" /> 
        </writeHost> 
        </dataHost>

===================================================    

文件结尾：            

  

</mycat:schema>

4.4 mycat实现1主1从读写分离

vim schema.xml 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
        <dataNode name="sh1" dataHost="laoli1" database= "world" />         
        <dataHost name="laoli1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
        <writeHost host="db1" url="192.168.8.10:3307" user="root" password="123">
                        <readHost host="db2" url="192.168.8.10:3309" user="root" password="123" /> 
        </writeHost> 
        </dataHost>  
</mycat:schema>

重启mycat：

mycat restart
mysql -uroot -p123456 -h127.0.0.1 -P8066

4.5 Mycat高可用+读写分离

mv schema.xml schema.xml.1
vim schema.xml 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
</schema>  
        <dataNode name="sh1" dataHost="laoli1" database= "world" />         
        <dataHost name="laoli1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">    
                <heartbeat>select user()</heartbeat>  
        <writeHost host="db1" url="192.168.8.10:3307" user="root" password="123">
                        <readHost host="db2" url="192.168.8.10:3309" user="root" password="123" /> 
        </writeHost> 
         <writeHost host="db3" url="192.168.8.20:3307" user="root" password="123">
                        <readHost host="db4" url="192.168.8.20:3309" user="root" password="123" /> 
        </writeHost> 
        </dataHost>  
</mycat:schema>

说明:    

<writeHost host="db1" url="192.168.8.10:3307" user="root" password="123">
            <readHost host="db2" url="192.168.8.10:3309" user="root" password="123" /> 
</writeHost> 
<writeHost host="db3" url="192.168.8.20:3307" user="root" password="123">
            <readHost host="db4" url="192.168.8.20:3309" user="root" password="123" /> 
 </writeHost>

第一个 whost: 192.168.8.10:3307   真正的写节点,负责写操作

第二个 whost: 192.168.8.20:3307   准备写节点,负责读,当 192.168.8.10:3307宕掉,会切换为真正的写节点

测试:

[root@db01 conf]# mysql -uroot -p123456 -h 192.168.8.10 -P 8066

读:

mysql> select @@server_id;

写:

mysql> begin ;select @@server_id; commit;

4.6 配置中的属性介绍:

balance属性

负载均衡类型，目前的取值有3种：

1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。

2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说，

 当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。

3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。

writeType属性

负载均衡类型，目前的取值有2种：

1. writeType="0", 所有写操作发送到配置的第一个writeHost，

第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为主，切换记录在配置文件中:dnindex.properties .

2. writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用

switchType属性

-1 表示不自动切换

1 默认值，自动切换

2 基于MySQL主从同步的状态决定是否切换 ，心跳语句为 show slave status

datahost其他配置

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">

maxCon="1000"：最大的并发连接数

minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程

tempReadHostAvailable="1":        这个一主一从时（1个writehost，1个readhost时），可以开启这个参数

select user() :    监测心跳

5. Mycat高级应用-分布式解决方案

5.1 垂直分表

mv  schema.xml  schema.xml.ha 
vim schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1">
        <table name="user" dataNode="sh1"/>
        <table name="order_t" dataNode="sh2"/>
</schema>
    <dataNode name="sh1" dataHost="laoli1" database= "taobao" />
    <dataNode name="sh2" dataHost="laoli2" database= "taobao" />
    <dataHost name="laoli1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="192.168.8.10:3307" user="root" password="123">
            <readHost host="db2" url="192.168.8.10:3309" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="192.168.8.20:3307" user="root" password="123">
            <readHost host="db4" url="192.168.8.20:3309" user="root" password="123" />
    </writeHost>
    </dataHost>
    <dataHost name="laoli2" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql"  dbDriver="native" switchType="1">
        <heartbeat>select user()</heartbeat>
    <writeHost host="db1" url="192.168.8.10:3308" user="root" password="123">
            <readHost host="db2" url="192.168.8.10:3310" user="root" password="123" />
    </writeHost>
    <writeHost host="db3" url="192.168.8.20:3308" user="root" password="123">
            <readHost host="db4" url="192.168.8.20:3310" user="root" password="123" />
    </writeHost>
    </dataHost>    
</mycat:schema>

创建测试库和表:

mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";
mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))";

重启mycat :

mycat restart

测试功能:

[root@db01 conf]# mysql -uroot -p123456 -h 192.168.8.10 -P 8066
mysql> use TESTDB
mysql> insert into user(id ,name ) values(1,'a'),(2,'b');
mysql> commit;
mysql> insert into order_t(id ,name ) values(1,'a'),(2,'b');
mysql> commit;
[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "show tables from taobao;"
+------------------+
| Tables_in_taobao |
+------------------+
| user             |
+------------------+
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "show tables from taobao;"
+------------------+
| Tables_in_taobao |
+------------------+
| order_t          |
+------------------+
[root@db01 ~]#

5.2 Mycat分布式-水平拆分(分片)介绍

分片：对一个"bigtable"，比如说t3表

(1)行数非常多，800w

(2)访问非常频繁

分片的目的：

（1）将大数据量进行分布存储

（2）提供均衡的访问路由

分片策略：

范围 range  800w  1-400w 400w01-800w

取模 mod    取余数

枚举

哈希 hash

时间 流水

5.3 Mycat分布式-范围分片

比如说t3表

(1)行数非常多，2000w（1-1000w:sh1   1000w01-2000w:sh2）

(2)访问非常频繁，用户访问较离散

修改配置:

vim schema.xml   
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="sh1"> 
        <table name="t3" dataNode="sh1,sh2" rule="auto-sharding-long" />
</schema>  
    <dataNode name="sh1" dataHost="laoli1" database= "taobao" /> 
    <dataNode name="sh2" dataHost="laoli2" database= "taobao" />  
vim rule.xml
<tableRule name="auto-sharding-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>             
<function name="rang-long"
    class="io.mycat.route.function.AutoPartitionByLong">
    <property name="mapFile">autopartition-long.txt</property>
</function>
===================================         
vim autopartition-long.txt
1-10=0      # -----> >=1 , <=10
10-20=1     # -----> >10 ,<=20

创建测试表：

mysql -S /data/3307/mysql.sock -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock  -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"

测试：

重启mycat

mycat restart
mysql -uroot -p123456 -h 127.0.0.1 -P 8066
insert into t3(id,name) values(1,'a');
insert into t3(id,name) values(2,'b');
insert into t3(id,name) values(3,'c');
insert into t3(id,name) values(10,'d');
insert into t3(id,name) values(11,'aa');
insert into t3(id,name) values(12,'bb');
insert into t3(id,name) values(13,'cc');
insert into t3(id,name) values(14,'dd');
insert into t3(id,name) values(20,'dd');

分别登录后端节点查询数据

mysql -S /data/3307/mysql.sock -e "select * from taobao.t3;"
mysql -S /data/3308/mysql.sock -e "select * from taobao.t3;"

5.4 取模分片（mod-long）：

取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点

vim schema.xml

vim rule.xml

2

准备测试环境

创建测试表：

mysql -S /data/3307/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"

重启mycat

mycat restart

测试： 

mysql -uroot -p123456 -h192.168.8.10 -P8066
use TESTDB
insert into t4(id,name) values(1,'a');
insert into t4(id,name) values(2,'b');
insert into t4(id,name) values(3,'c');
insert into t4(id,name) values(4,'d');

分别登录后端节点查询数据

mysql -S /data/3307/mysql.sock -e "select * from taobao.t4;"
mysql -S /data/3308/mysql.sock -e "select * from taobao.t4;"

5.5 枚举分片

t5 表

id name telnum

1   bj   1212

2   sh   22222

3   bj   3333

4   sh   44444

5   bj   5555

sharding-by-intfile
vim schema.xml
<table name="t5" dataNode="sh1,sh2" rule="sharding-by-intfile" />
vim rule.xml
<tableRule name="sharding-by-intfile"> 
<rule> <columns>name</columns> 
<algorithm>hash-int</algorithm> 
</rule> 
</tableRule> 
<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap"> 
<property name="mapFile">partition-hash-int.txt</property> 
  <property name="type">1</property>
  <property name="defaultNode">0</property>
</function>

partition-hash-int.txt 配置：

bj=0

sh=1

DEFAULT_NODE=1

columns 标识将要分片的表字段，algorithm 分片函数， 其中分片函数配置中，mapFile标识配置文件名称

准备测试环境

mysql -S /data/3307/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"

重启mycat 

mycat restart 
mysql -uroot -p123456 -h127.0.0.1 -P8066
use TESTDB
insert into t5(id,name) values(1,'bj');
insert into t5(id,name) values(2,'sh');
insert into t5(id,name) values(3,'bj');
insert into t5(id,name) values(4,'sh');
insert into t5(id,name) values(5,'tj');

分别登录后端节点查询数据

mysql -S /data/3307/mysql.sock -e "select * from taobao.t5;"
mysql -S /data/3308/mysql.sock -e "select * from taobao.t5;"

======================================

DBLE自己研究

<tableRule name="crc32slot">
<tableRule name="sharding-by-month">

======================================


文章标签：
云数据库 RDS MySQL 版
负载均衡
关系型数据库
MySQL
开发工具
数据库
负载均衡
关键词：
云数据库 RDS MySQL 版解决方案
分布式mysql
分布式解决方案
mysql分布式
云数据库 RDS MySQL 版分布式
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
开化者
目录
相关文章
ssh1121
|
22天前
|
关系型数据库 MySQL 索引
MySQL in 太多的解决方案
MySQL in 太多的解决方案
ssh1121
82 0
竹子爱熊猫
|
1月前
|
存储 算法 关系型数据库
(二十二)全解MySQL之分库分表后带来的“副作用”一站式解决方案！
上篇《分库分表的正确姿势》中已经将分库分表的方法论全面阐述清楚了，总体看下来用一个字形容，那就是爽！尤其是分库分表技术能够让数据存储层真正成为三高架构，但前面爽是爽了，接着一起来看看分库分表后产生一系列的后患问题，注意我这里的用词，是一系列而不是几个，也就是分库分表虽然好，但你要解决的问题是海量的。
竹子爱熊猫
130 3
格格的阿里云
|
28天前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
格格的阿里云
49 0
皮牙子抓饭
|
2月前
|
存储 关系型数据库 MySQL
MySQL 忘记root密码解决方案
【7月更文挑战第19天】
皮牙子抓饭
229 4
热爱技术的小郑
|
1月前
|
存储 NoSQL Java
一天五道Java面试题----第十一天（分布式架构下，Session共享有什么方案---------＞分布式事务解决方案）
这篇文章是关于Java面试中的分布式架构问题的笔记，包括分布式架构下的Session共享方案、RPC和RMI的理解、分布式ID生成方案、分布式锁解决方案以及分布式事务解决方案。
热爱技术的小郑
56 2
一天五道Java面试题----第十一天（分布式架构下，Session共享有什么方案---------＞分布式事务解决方案）
zuozewei
|
1月前
|
存储 监控 数据可视化
性能监控之JMeter分布式压测轻量日志解决方案
【8月更文挑战第11天】性能监控之JMeter分布式压测轻量日志解决方案
zuozewei
51 0
性能监控之JMeter分布式压测轻量日志解决方案
竹子爱熊猫
|
1月前
|
缓存 NoSQL 关系型数据库
(八)漫谈分布式之缓存篇：唠唠老生常谈的MySQL与Redis数据一致性问题！
本文来聊一个跟实际工作挂钩的老生常谈的问题：分布式系统中的缓存一致性。
竹子爱熊猫
110 10
聚娃科技开发者团队
|
2月前
|
存储 NoSQL 算法
实现分布式锁的Java解决方案
实现分布式锁的Java解决方案
聚娃科技开发者团队
37 1
东方睿赢
|
2月前
|
关系型数据库 分布式数据库 数据库
PolarDB，阿里云的开源分布式数据库，与微服务相结合，提供灵活扩展和高效管理解决方案。
【7月更文挑战第3天】PolarDB，阿里云的开源分布式数据库，与微服务相结合，提供灵活扩展和高效管理解决方案。通过数据分片和水平扩展支持微服务弹性，保证高可用性，且兼容MySQL协议，简化集成。示例展示了如何使用Spring Boot配置PolarDB，实现服务动态扩展。PolarDB缓解了微服务数据库挑战，加速了开发部署，为云原生应用奠定基础。
东方睿赢
203 3
萝卜丝丸子
|
2月前
|
SQL 负载均衡 关系型数据库
分布式篇问题之MySQL数据库主从复制问题如何解决
分布式篇问题之MySQL数据库主从复制问题如何解决
萝卜丝丸子
38 0

热门文章

最新文章

  • 1
    分布式1024节点！1天玩转PolarDB-X超大规模集群
  • 2
    分布式锁----Redis实现
  • 3
    业务系统对消息中间件的要求（接上一篇《分布式消息中间件中的一些概念》）
  • 4
    整合spring cloud云架构 --spring cloud分布式系统中实现分布式锁
  • 5
    java- 分布式- 一致性哈希算法（1）
  • 6
    【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
  • 7
    若依框架thymeleaf升级分布式--dora带你来探险
  • 8
    分布式服务框架 Zookeeper -- 管理分布式环境中的数据
  • 9
    分布式改造剧集1
  • 10
    WCF分布式开发常见错误(21):unable to open its IChannelListener.分发器未能打开侦听器
  • 1
    【Mysql】在多表查询过程中如果已经起了别名，就不能通过表名限定字段
    63
  • 2
    【MySQL-11】多表查询全解-【多表关系/内外自连接/子查询/多表查询案例链接】（可cv代码＆案例演示）
    80
  • 3
    【Mysql-12】一文解读【事务】-【基本操作/四大特性/并发事务问题/事务隔离级别】
    68
  • 4
    【MySQL-10】数据库函数-案例演示【字符串/数值/日期/流程控制函数】（代码演示＆可cv代码）
    440
  • 5
    【MySQL-10】DCL-数据控制语言-【管理用户＆权限控制】 （语法语句＆案例演示＆可cv案例代码）
    47
  • 6
    【MySQL-9】一文带你搞定 外键约束＆其【更新/删除行为】（可cv代码＆案例演示）
    157
  • 7
    【MySQL】DQL-案例练习-DQL基本介绍＆语法＆执行顺序（代码演示）
    46
  • 8
    【MySQL】DQL-排序查询-语法＆注意事项＆可cv例题语句
    46
  • 9
    【MySQL】DQL-排序查询-语法＆排序方式＆注意事项＆可cv例题语句
    48
  • 10
    【MySQL】DQL-分组查询-语法＆where与having的区别＆注意事项＆可cv例题语句
    61

    • 相关课程

    更多
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目
  • FLASH:大规模分布式图计算引擎及应用

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 5分钟上手Flink MySQL连接器
  • 云端MySQL的安装及应用
  • 手动部署MySQL数据库（CentOS 7）

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • mongodb
    • 下一篇
    基于LNMP搭建WordPress