MySQL日志管理和完全备份增量备份与恢复(二)

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: MySQL日志管理和完全备份增量备份与恢复(二)

2.3完全恢复

前面介绍了数据库的完全备份,使用mysqldump工具可以把数据库的创建语句保存在备份的脚本文件中,当数据出现错误时可以使用以下几种方式对他进行恢复操作。

当需要恢复整库的时候,可以使用source命令和mysql命令。


2.3.1使用source命令整库恢复

主要命令格式:

先登录MySQL后,可以进行source命令进行数据库整库恢复,命令格式如下:


source 备份脚本的路径

整体操作


#先备份school数据库
mysqldump -uroot -p --databases school > /opt/school.sql
#查看数据库
show databases;
#删除school数据库
drop database school;
#使用source 恢复数据
source /opt/school.sql
当备份时加--databases 表示针对于school库
当备份时不加--databases 表示针对school库下的所有表
当你使用不加--databases 备份时,你恢复数据时需先创建一个当时库同名的库在进行淮阜否则会报错
主要原因在于俩种方式的备份:
前者会从create databases开始
后者全是针对表格进行操作



分布操作


演示:

①首先对数据库进行备份

mysqldump -uroot -p123456 --databases caosong > /opt/caosong.sql 将数据库备份到/opt/目录下并指定格式为sql


② 假设数据损坏,删除数据库


mysql -uroot  -p123456 #先登录数据库
show databases;#查看现有数据库
drop database caosong;#删除数据库
show databases;#看库

③登录MySQL,使用source命令恢复数据库


source /opt/caosong.sql #恢复,可以理解为执行了一个脚本,脚本里面都是之前创库的步骤命令

使用source命令表恢复(和恢复库步骤一样)


#先备份school数据库里的class1数据表
mysqldump -uroot -p school class1 > /opt/school_class1.sql
#进入数据库
use school;
#删除school数据库里的class1表
drop table class1;
#使用source 恢复数据
source /opt/school_class1.sql
#查看所有字段
select * from class1;


2.3.2 使用mysql命令恢复

恢复数据库


mysql -u root -p -e 'drop database school;'
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'show databases;'
#恢复school数据库
mysql -u root -p < /opt/school.sql  
mysql -u root -p -e 'show databases;

①(先备份数据)删除数据库


②恢复库


2.4为什么使用增量备份

前面章节讲到了完全备份有两种方式,一种是使用 tar 打包数据文件,另一种是使用 mysqldump 进行完全各份。完全备份存在的问题很容易看到,每次都是把所有的数据内容进行备份,各份数据中有大量的重复数据,并且完全备份的时间与恢复的时间很长。解决完全备份存在的问题就是使用增量各份的方式,增量各份就是备份自上一次备份之后增加或改变的文件或者内容。


2.4.1增量备份的特点

增量备份的优点是没有重复数据,备份量不大,时间短。缺点也很明显,需要上次完全备份及完全备份之后所有的增量备份才能恢复,而且对所有增量备份进行逐个反推恢复,操作较为繁锁。

MySQL 没有提供直接的增量备份方法,但是可以通过MySQL 的二进制日志(binarylogs)间接实现增量备份。二进制日志对备份的意义如下:

(1)二进制日志保存了所有更新或者可能更新数据库的操作。

(2)二进制日志在启动 MySQL 服务器后开始记录,并在文件达到 max binlogsize 所设置的大小或者接收到 fush logs 命令后重新创建新的日志文件。

(3)只需要定时执行 fush logs 方法重新创建新的日志,生成二进制文件序列,并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。


2.5 增量备份实战演练

①增量备份的前提是完全备份


mysqldump -u root -p caosong school2 > /opt/caosong_school2_$(date +%F).sql    
mysqldump -u root -p --all-databases caosong > /opt/caosong_$(date +%F).sql


② 要进行 MySQL 增量备份,首先要开启二进制日志功能。开启二进制日志功

能有两种方法:

③在MySQL配置文件的imysaldj项中加入 log-bin-filepath 项,

如 log-bin=mysql-bin,然后重启mysqld 服务。开启二进制日志功能


vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED
server-id = 1
#二进制日志有三种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认为STATEMENT
#server-id 为服务的序号,在MySQL主备、高可用中需要指定服务的序号
#改为配置文件需要重启服务
systemctl restart mysqld


③或者使用mysqld --log-bin=filepath重新启动MySQL服务。开启二进制日志功能

mysqld -log-bin=filepath
systemctl restart mysqld


STATEMENT(基于sql语句):


每一条涉及到被修改的sql 都会记录在binlog中


缺点:日志量过大,如sleep()函数,last_insert_id()>,以及user- definedfuctions(udf)、主从复制等架构记录日志时会出现问题


总结:增删改查通过sql语句来实现记录,如果用高并发可能会出错,可能时间差异或者延迟,可能不是我们想想的恢复可能你先删除或者在修改,可能会倒过来。准确率低


ROW(基于行):


只记录变动的记录,不记录sql的上下文环境


缺点:如果遇到update. . . . …set. . . .where true那么binlog的数据量会越来越大


总结: update、delete以多行数据起作用,来用行记录下来,只记录变动的记录,不记录sql的上下文环境,比如sql语句记录一行,但是Row就可能记录10行,但是准确性高,高并发的时候由于操作量,性能变低比较大所以记录都记下来,


MIXED(混合模式):


一般的语句使用statement,函数使用ROW方式存储


#只要重启就会自动生成二进制文件
systemctl restart mysqld
ls -l /usr/local/mysql/data/mysql-bin.*


mysqlbinlog --no-defaults 二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件
#--base64-output=decode-rows 使用64位编码机制去解码;decode按行读取rows
#-v 显示详细内容
#--no-defaults 默认字符集(不加会报UTF-8错误)
#将解码后的文件导出为txt文件,重定向输出
mysqlbinlog --no-defaults --base64-output=decode-rows -v 二进制日志文件 > 文件.txt
#刷新日志文件
mysqladmin -uroot -p flush-logs



at :开始的位置点

end_log_pos:结束的位置

时间戳: 210712 11:50:30

SQL语句


2.5.1增量备份的一般恢复

模拟丢失更改的数据的恢复操作步骤(直接使用恢复即可)


将所有备份的二进制日志内容全部恢复


①模拟丢失更改的数据的恢复步骤


mysql -uroot -p123456#进入
use school;#切换
delete from class1 where id=3;#删除数据
delete from class1 where id=4;
select * from class1;#查看
quit#退出
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000005 | mysql -u root -p
#还原,记得还原一定要用上一次刷新的文件
mysql -uroot -p123456 -e "select * from caosong.class1;"
#查看



2.5.2增量备份基于位置恢复

数据库在某一时间点可能既有错误的操作也有正确的操作

可以基于精准的位置跳过错误的操作

发生错误节点之前的一个节点,上一次正确操作的位置点停止


在数据库中插入数据并查看

use caosong
insert into school2 values(1,'lili',25,'swim');
insert into school2 values(7,'hhh',27,'sleep');
insert into school2 values(7,'hhh',27,'run');
delete from school2 where name=lili


# 刷新生成新的二进制日志文件
mysqladmin -u root -p flush-logs
mysqlbinlog --no-defaults --base64-output=decode-rows -v mysql-bin.0000007
#查看日志







2.5.3增量备份基于时间点恢复

跳过某个发生错误的时间点实现数据恢复
在错误时间点停止,在下一个正确时间点开始
模拟时间点恢复,刷新日志,生成新的日志文件
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-datetime='2020-11-2216:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start


修改表内数据



备份日志文件,并查看




根据时间恢复数据内容


mysqlbinlog --no-defaults --stop-datetime='2022-06-22 23:20:51' /opt/mysql-bin.000008 |mysql -uroot -p
mysql -uroot -p -e 'select * from test.bin;'

三、总结


在增量备份恢复时,要先从完全备份恢复,再到二进制日志1、日志2…逐一恢复,如果恢复某条SQL语句之前的所有数据,就stop在这个语句的位置节点或者时间点,如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点start,全备库中source针对库mysql针对库中的表,备份时使用–database或者-B使恢复时source和mysql效果一致。


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
20天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
129 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
16天前
|
关系型数据库 MySQL 数据库
【赵渝强老师】MySQL的binlog日志文件
MySQL的binlog日志记录了所有对数据库的更改操作(不包括SELECT和SHOW),主要用于主从复制和数据恢复。binlog有三种模式,可通过设置binlog_format参数选择。示例展示了如何启用binlog、设置格式、查看日志文件及记录的信息。
|
20天前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
44 3
|
20天前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
32 3
|
16天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
20天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法,包括安装并连接MySQL服务器、选择数据库、执行SQL语句(如插入、更新、删除和查询),以及将结果集返回到数组。通过具体示例代码,详细介绍了每一步的操作流程,帮助读者快速入门PHP与MySQL的交互。
34 1
|
22天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
36 4
|
2月前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构,类似于书籍中的索引。它允许用户快速找到数据,而无需扫描整个表。MySQL中的索引可以显著提升查询速度,使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
66 3
Mysql(4)—数据库索引
|
28天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
160 1
|
1月前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
88 2