shell脚本使用mysqldump+mysql同步线上库和测试库数据

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: shell脚本使用mysqldump+mysql同步线上库和测试库数据

实现同一台服务器不同数据库的单表同步


完整脚本


#!/bin/bash
# 执行方式
# bash demo.sh <table_name>
# 配置数据库账号密码
username='root'
password='123456'
# 配置数据源库 和 数据目标库
source_database='data'
target_database='dev_data'
# 接收参数 表名
table_name=$1
if [ ! $table_name ]; then  
    echo "error: 数据表名称未知"
    echo "执行方式: bash demo.sh <table_name>"
    exit
fi  
echo "开始同步..."
echo "$source_database.$table_name => $target_database.$table_name"
# 2>/dev/null 可以抑制警告信息
mysqldump -u"${username}" -p"${password}"  $source_database $table_name 2>/dev/null \
| mysql -u"${username}" -p"${password}" $target_database 2>/dev/null \
&& echo "同步完成 success"

可以根据需求自行修改

使用方式

$ bash demo.sh <table_name>

遇到的问题及解决

mysqldump: Couldn't execute '
SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"')  
FROM information_schema.COLUMN_STATISTICS
WHERE SCHEMA_NAME = 'admin_xlmstore_c' AND TABLE_NAME = 'tb_article';': 
Unknown table 'COLUMN_STATISTICS' in information_schema (1109)

解决方法:


# 添加参数 --column-statistics=0
mysqldump --column-statistics=0 -h ip -u root -p dbname > db.sql;

参考

mysqldump 导出提示Couldn’t execute SELECT COLUMN_NAME…


同步不同主机数据

#!/bin/bash
# 执行方式
# bash sync_data.sh [table_name]
####################################################
# 参数配置
####################################################
# 数据源
source_host='127.0.0.1'
source_port='3306'
source_user='root'
source_password='123456'
source_database='data'
# 数据目标
target_host='127.0.0.1'
target_port='3306'
target_user='root'
target_password='123456'
target_database='data_dev'
# 可选接收参数 表名
table_name=$1
# if [ ! $table_name ]; then
#     echo "error: 数据表名称未知"
#     echo "执行方式: bash demo.sh <table_name>"
#     exit
# fi
####################################################
# 脚本执行
####################################################
echo "开始同步..."
echo "$source_database.$table_name => $target_database.$table_name"
# 2>/dev/null 可以抑制警告信息
mysqldump \
--column-statistics=0 \
--host $source_host \
--port $source_port \
--user $source_user \
--password $source_password \
$source_database \
$table_name \
| mysql \
--host $target_host \
--port $target_port \
--user $target_user \
--password $target_password \
$target_database \
&& echo "同步完成 success"

报错及解决

尝试使用mysqldump导出数据报错:


mysqldump: Error: 'Access denied; 
you need (at least one of) the PROCESS privilege(s) for this operation' 
when trying to dump tablespaces

需要授权


> grant process on *.* to user@'%';
-- 刷新数据库
flush privileges;

注意:process权限是一个全局权限,所以不可以指定在某一个库上,否则会报错


ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES


相关实践学习
自建数据库迁移到云数据库
本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
11月前
|
关系型数据库 MySQL Linux
实现MySQL数据库的定时自动备份脚本。
拿走,不谢,这个脚本配方(指引)保证你的数据库数据像蛋糕店一样地天天更新,还能确保老旧的蛋糕(数据)不会堆积满仓库。这下可好,数据安全有保障,数据库管理员也能轻松一点,偶尔闲下来的时候,煮杯咖啡,看个剧岂不美哉?别忘了偶尔检查一下你的自动备份是否正常工作,以防万一蛋糕机器出了点小差错。
521 20
|
12月前
|
SQL Oracle 关系型数据库
在MySQL Shell里 重启MySQL 8.4实例
在MySQL Shell里 重启MySQL 8.4实例
416 2
|
12月前
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
224 0
|
Oracle 关系型数据库 MySQL
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息,包括架构、版本支持等,还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理(创建任务、迁移配置、离线迁移、校验初始化、一致性校验)及MySQL迁移的全过程。
|
12月前
|
SQL 缓存 关系型数据库
MySQL8.4 Enterprise安装Firewall及测试
MySQL8.4 Enterprise安装Firewall及测试
387 0
|
12月前
|
安全 关系型数据库 MySQL
MySQL8使用物理文件恢复MyISAM表测试
MySQL8使用物理文件恢复MyISAM表测试
247 0
|
7月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
484 158
|
7月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1188 152

推荐镜像

更多