AI 助理
备案控制台
开发者社区 数据库 文章 正文

DB2备份+日志恢复并前滚数据库

2017-10-31 2694
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

任何数据库都是这样的，我们会做数据库的全量备份，增量备份，并记录日志。如果数据库出现意外宕机，则可以用全备+增量备份+日志来进行数据库恢复。
本文主要展示如何使用备份+日志来恢复DB2的数据库，为了更清晰一点儿，使用两台机器151和152；在152机器上利用备份和日志恢复到151的数据库的状态。

151机器上数据操作步骤

1.创建测试库

#1.创建测试数据库
db2 create database yynewlog
#2.启用归档日志
db2 update db cfg for yynewlog using logarchmeth1 DISK:/data/db2data
#3.启用增量备份
db2 update db cfg for yynewlog using TRACKMOD YES

#3.解除backup pending状态
db2 backup database yynewlog

#4.创建测试表
 db2 connect to yynewlog
db2 "create table student (id int not null,
name varchar(20),
sex smallint,
phone varchar(12),
address varchar(30)
)"

#5.填充数据：id=1,id=2
db2 "insert into student values(1,'charles ',0,'19089076756','BEIJING ')"
db2 "insert into student values(2,'zhouzhou ',0,'1076758886','BEIJING ')"

2.全量备份

  使用在线备份数据库，with include logs保留日志，这个选项好像是默认的，但是为了语句的可读理解，最好还是加上。

[db2inst1@db22 ~]$ db2 backup db yynewlog online to /tmp include logs

Backup successful. The timestamp for this backup image is : 20171030175924

  /tmp目录下有了名为YYNEWLOG.0.db2inst1.DBPART000.20171030175924.001的全量备份，全量备份里面是id=1,id=2的记录。

3.增量备份

#新插入id=3,id=4的数据。
db2 "insert into student values(3,'xiaohong',0,'67583886','TAIYUAN')"
db2 "insert into student values(4,'lianliang',0,'13667583886','SHIJIAZHAUNG')"

#增量备份
[db2inst1@db22 ~]$ db2 backup db yynewlog ONLINE INCREMENTAL to /tmp include logs

Backup successful. The timestamp for this backup image is : 20171030180235

/tmp目录下有了名为YYNEWLOG.0.db2inst1.DBPART000.20171030180235.001的备份文件。
全量备份+增量备份里面是id=1，id=2,id=3,id=4的数据。

语法

>--+------------------------+----------------------------------->
   '-INCREMENTAL--+-------+-'   
                  '-DELTA-'

  • INCREMENTAL
    Specifies a cumulative (incremental) backup image. An incremental backup image is a copy of all database data that has changed since the most recent successful, full backup operation.
    指定一个累积的(增量)备份。一个INCREMENTAL备份镜像是一个 从 距离最近的成功备份的全量备份 之后 所有改变的数据的副本。

    • DELTA

         Specifies a noncumulative (delta) backup image. A delta backup image is a copy of all database data that has changed since the most recent successful backup operation of any type.

      指定一个非 累积的(delta:差值)。一个delta备份镜像是一个 自动最近的一次成功的任何类型的备份操作之后 所有改变的数据库数据的副本。

4.增量delta备份

db2 "insert into student values(5,'shuang',0,'15067583886','SHENZHEN')"
db2 "insert into student values(6,'licy',0,'15683886675','XIAMEN')"
[db2inst1@db22 ~]$ db2 backup db yynewlog ONLINE INCREMENTAL DELTA to /tmp include logs

Backup successful. The timestamp for this backup image is : 20171030181903

5.活动日志

db2 "insert into student values(7,'shuang',0,'15067583886','SHENZHEN')"
db2 "insert into student values(8,'licy',0,'15683886675','XIAMEN')"

  此时数据如下：


[db2inst1@db22 ~]$ db2 "select * from student"

ID          NAME                 SEX    PHONE        ADDRESS                       
----------- -------------------- ------ ------------ ------------------------------
          1 charles                   0 19089076756  BEIJING                       
          2 zhouzhou                  0 1076758886   BEIJING                       
          3 xiaohong                  0 67583886     TAIYUAN                       
          4 lianliang                 0 13667583886  SHIJIAZHAUNG                  
          5 shuang                    0 15067583886  SHENZHEN                      
          6 licy                      0 15683886675  XIAMEN                        
          7 shuang                    0 15067583886  SHENZHEN                      
          8 licy                      0 15683886675  XIAMEN                        

  8 record(s) selected.

152机器上的恢复步骤

1.拷贝文件到目标机器

scp /tmp/YYNEWLOG.* db2inst1@192.168.225.152:/tmp

将拷贝YYNEWLOG.0.db2inst1.DBPART000.20171030175924.001 ,
YYNEWLOG.0.db2inst1.DBPART000.20171030180235.001 ,
YYNEWLOG.0.db2inst1.DBPART000.20171030181903.001 这三个文件。

2.备份恢复步骤：

三个时间戳
20171030175924:全备
20171030180235：增量1
20171030181903：差异增量2

#1.指定通过增量备份恢复的形式最后要恢复到 20171030181903这个是时间戳。
[db2inst1@db22 ~]$ db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030181903 
DB20000I  The RESTORE DATABASE command completed successfully.
#2.第一步恢复全备
[db2inst1@db22 ~]$ db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030175924 logtarget /data/db2data/logs
DB20000I  The RESTORE DATABASE command completed successfully.
#3.第二步恢复备份1：
[db2inst1@db22 ~]$ db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030180235 logtarget /data/db2data/logs
SQL2580W  Warning! Restoring logs to a path which contains existing log files. 
Attempting to overwrite an existing log file during restore will cause the 
restore operation to fail.
Do you want to continue ? (y/n) y
DB20000I  The RESTORE DATABASE command completed successfully.
#4.第三步恢复差异增量备份2：
[db2inst1@db22 ~]$ db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030181903 logtarget /data/db2data/logs
SQL2580W  Warning! Restoring logs to a path which contains existing log files. 
Attempting to overwrite an existing log file during restore will cause the 
restore operation to fail.
Do you want to continue ? (y/n) y
DB20000I  The RESTORE DATABASE command completed successfully.

此时，logtarget下有前滚所需的日志：

[root@db22 logs]# ls NODE0000/LOGSTREAM0000/
S0000007.LOG  S0000010.LOG  S0000013.LOG

3.确定所需的活动日志：

3.1 151机器上的活动日志：

[db2inst1@db22 ~]$ db2 get db cfg for yynewlog | grep -i 'First active log'
 First active log file                                   = S0000015.LOG

3.1 152机器上的活动日志：

[db2inst1@db22 ~]$ db2 get db cfg for yynewlog | grep -i 'First active log'
 First active log file                                   = S0000013.LOG

3.3 确定所需的日志

所以恢复的话是需要S0000014.LOG和S0000015.LOG的，151上的第一个活动日志是S0000015.LOG，故S0000014.LOG已经归档了，要把该日志拷贝到归档日志的目录中（恢复时的overflow log path
中，在此我们指定overflow log path为/data/db2data/logs下，刚刚restore时的logtarget）：

3.3.1 拷贝归档日志

#先找一下归档日志路径
[root@db22 tmp]# find / -name S0000014.LOG
/db/log/db2inst1/TESTMOVE/NODE0000/LOGSTREAM0000/C0000000/S0000014.LOG
/data/bak/db2inst1/SAMPLE/NODE0000/LOGSTREAM0000/C0000001/S0000014.LOG
/data/db2data/db2inst1/SCHOOL/NODE0000/LOGSTREAM0000/C0000000/S0000014.LOG
/data/db2data/db2inst1/YYNEWLOG/NODE0000/LOGSTREAM0000/C0000000/S0000014.LOG
/home/db2inst1/db2inst1/NODE0000/SQL00003/LOGSTREAM0000/S0000014.LOG
/home/db2inst1/db2inst1/NODE0000/SQL00002/LOGSTREAM0000/S0000014.LOG

#拷贝归档日志：
scp /data/db2data/db2inst1/YYNEWLOG/NODE0000/LOGSTREAM0000/C0000000/S0000014.LOG  db2inst1@192.168.225.152:/data/db2data/logs/NODE0000/LOGSTREAM0000
#overflow log path 下有该日志了
[root@db22 logs]# ls NODE0000/LOGSTREAM0000/
S0000007.LOG  S0000010.LOG  S0000013.LOG  S0000014.LOG

3.3.2 拷贝归档日志

#152机器上的活动日志目录
[db2inst1@db22 ~]$ db2 get db cfg for yynewlog | grep -i 'log'

 Changed path to log files                  (NEWLOGPATH) = 
 Path to log files                                       = /home/db2inst1/db2inst1/NODE0000/SQL00003/LOGSTREAM0000/
 Overflow log path                     (OVERFLOWLOGPATH) = 
 Mirror log path                         (MIRRORLOGPATH) =

所以152机器上的活动日志目录是：/home/db2inst1/db2inst1/NODE0000/SQL00003/LOGSTREAM0000/

拷贝活动日志

[root@db22 tmp]# scp -r /home/db2inst1/db2inst1/NODE0000/SQL00005/LOGSTREAM0000 db2inst1@192.168.225.152:/home/db2inst1/db2inst1/NODE0000/SQL00003db2inst1@192.168.225.152's password: 
S0000024.LOG            100% 4104KB   4.0MB/s   00:00    
S0000020.LOG            100% 4104KB   4.0MB/s   00:00    
S0000022.LOG            100% 4104KB   4.0MB/s   00:01    
S0000015.LOG            100% 4104KB   4.0MB/s   00:00    
S0000017.LOG            100% 4104KB   4.0MB/s   00:00    
S0000026.LOG            100% 4104KB   4.0MB/s   00:01    
S0000023.LOG            100% 4104KB   4.0MB/s   00:00    
S0000027.LOG            100% 4104KB   4.0MB/s   00:01    
S0000021.LOG            100% 4104KB   4.0MB/s   00:00    
S0000019.LOG            100% 4104KB   4.0MB/s   00:00    
S0000016.LOG            100% 4104KB   4.0MB/s   00:01    
S0000025.LOG            100% 4104KB   4.0MB/s   00:01    
S0000018.LOG            100% 4104KB   4.0MB/s   00:01

4.前滚恢复

[db2inst1@db22 ~]$ db2 "rollforward db yynewlog to end of logs overflow log path (/data/db2data/logs)"

                                 Rollforward Status

 Input database alias                   = yynewlog
 Number of members have returned status = 1

 Member ID                              = 0
 Rollforward status                     = DB  working
 Next log file to be read               = S0000016.LOG
 Log files processed                    = S0000013.LOG - S0000014.LOG
 Last committed transaction             = 2017-10-31-08.43.15.000000 Local

DB20000I  The ROLLFORWARD command completed successfully.
[db2inst1@db22 ~]$ db2 "rollforward db yynewlog complete"

                                 Rollforward Status

 Input database alias                   = yynewlog
 Number of members have returned status = 1

 Member ID                              = 0
 Rollforward status                     = not pending
 Next log file to be read               =
 Log files processed                    = S0000013.LOG - S0000014.LOG
 Last committed transaction             = 2017-10-31-08.43.15.000000 Local

DB20000I  The ROLLFORWARD command completed successfully.

5.校验

[db2inst1@db22 ~]$ db2 "connect to yynewlog"

   Database Connection Information

 Database server        = DB2/LINUXX8664 11.1.1.1
 SQL authorization ID   = DB2INST1
 Local database alias   = YYNEWLOG

[db2inst1@db22 ~]$ db2 "select * from student"

ID          NAME                 SEX    PHONE        ADDRESS                       
----------- -------------------- ------ ------------ ------------------------------
          1 charles                   0 19089076756  BEIJING                       
          2 zhouzhou                  0 1076758886   BEIJING                       
          3 xiaohong                  0 67583886     TAIYUAN                       
          4 lianliang                 0 13667583886  SHIJIAZHAUNG                  
          5 shuang                    0 15067583886  SHENZHEN                      
          6 licy                      0 15683886675  XIAMEN                        
          7 shuang                    0 15067583886  SHENZHEN                      
          8 licy                      0 15683886675  XIAMEN

6.成功

7.疑问解析

7.1 Log files processed = S0000013.LOG - S0000014.LOG，没有15.LOG；是否并不需要活动日志？

前滚恢复返回：

 Next log file to be read               = S0000016.LOG
 Log files processed                    = S0000013.LOG - S0000014.LOG

不拷贝活动日志的情况下来试试恢复会如何

db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030181903 
db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030175924 
db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030180235 
db2 restore db YYNEWLOG  INCREMENTAL from /tmp  taken at 20171030181903 logtarget /data/db2data/logs
#拷贝14.LOG日
[root@db22 logs]# ls NODE0000/LOGSTREAM0000/
S0000013.LOG  S0000014.LOG
[root@db22 logs]# ls /home/db2inst1/db2inst1/NODE0000/SQL00003/LOGSTREAM0000/
[root@db22 logs]# 

#前滚

[db2inst1@db22 ~]$ db2 "rollforward db yynewlog to end of logs overflow log path (/data/db2data/logs)"

                                 Rollforward Status

 Input database alias                   = yynewlog
 Number of members have returned status = 1

 Member ID                              = 0
 Rollforward status                     = DB  working
 Next log file to be read               = S0000015.LOG
 Log files processed                    = S0000013.LOG - S0000013.LOG
 Last committed transaction             = 2017-10-30-10.19.11.000000 UTC

DB20000I  The ROLLFORWARD command completed successfully.
[db2inst1@db22 ~]$ db2 "rollforward db yynewlog complete"
SQL1273N  An operation reading the logs on database "YYNEWLOG" cannot continue 
because of a missing log file "S0000014.LOG" on database partition "0" and log 
stream "0".

由上面的实验可以看到我们溢出目录中是有14.LOG文件的，但是却报找不到日志文件的错误

将活动日志拷贝过来之后：

[db2inst1@db22 ~]$ db2 "rollforward db yynewlog complete"
SQL1273N  An operation reading the logs on database "YYNEWLOG" cannot continue 
because of a missing log file "S0000014.LOG" on database partition "0" and log 
stream "0".
[db2inst1@db22 ~]$ db2 "rollforward db yynewlog to end of logs overflow log path (/data/db2data/logs)"

                                 Rollforward Status

 Input database alias                   = yynewlog
 Number of members have returned status = 1

 Member ID                              = 0
 Rollforward status                     = DB  working
 Next log file to be read               = S0000016.LOG
 Log files processed                    = S0000013.LOG - S0000014.LOG
 Last committed transaction             = 2017-10-31-02.03.51.000000 UTC

DB20000I  The ROLLFORWARD command completed successfully.
[db2inst1@db22 ~]$ db2 "rollforward db yynewlog complete"

                                 Rollforward Status

 Input database alias                   = yynewlog
 Number of members have returned status = 1

 Member ID                              = 0
 Rollforward status                     = not pending
 Next log file to be read               =
 Log files processed                    = S0000013.LOG - S0000014.LOG
 Last committed transaction             = 2017-10-31-02.03.51.000000 UTC

DB20000I  The ROLLFORWARD command completed successfully.

  将活动日志拷贝过来之后再rollforward就可以成功了。

7.2 我只想恢复id =7 的数据，不想要id=8的数据怎么办？重点怎么确定时间戳？

参考：

db2 rollforward 命令时读取日志的顺序

数据库备份恢复的一点总结

文章标签：
日志服务
关系型数据库
数据库
监控
关键词：
日志服务数据库
数据库备份
数据库日志
备份数据库
数据库db2
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
水墨胭脂
目录
相关文章
蓝易云
|
2月前
|
SQL 存储 监控
SQL日志优化策略：提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
蓝易云
214 6
云流雨洄
|
3月前
|
缓存 Java 应用服务中间件
Spring Boot配置优化：Tomcat+数据库+缓存+日志，全场景教程
本文详解Spring Boot十大核心配置优化技巧，涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置，结合代码示例与通俗解释，助你轻松掌握高并发场景下的性能调优方法，适用于实际项目落地。
云流雨洄
625 5
德哥
|
10月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课5 在线备份
本文介绍了如何在PolarDB RAC一写多读集群中进行在线备份，特别针对共享存储模式。通过使用`polar_basebackup`工具，可以将实例的本地数据和共享数据备份到本地盘中。实验环境依赖于Docker容器中用loop设备模拟的共享存储。
德哥
307 1
游客kufrkwrbkmpsa
|
9月前
|
存储 缓存 监控
【YashanDB数据库】数据库运行正常，日志出现大量错误metadata changed
数据库运行正常，日志出现大量错误metadata changed
游客kufrkwrbkmpsa
179 0
赵渝强老师
|
4月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL（预写日志）是保证数据完整性的关键技术。在数据修改前，系统会先将日志写入WAL，确保宕机时可通过日志恢复数据。它减少了磁盘I/O，提升了性能，并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下，采用16进制命名规则。此外，PostgreSQL提供pg_waldump工具解析日志内容。
赵渝强老师
412 0
阿里云开发者
|
11月前
|
存储 消息中间件 Kafka
聊一聊日志背后的抽象
本文从思考日志的本质开始，一览业界对日志使用的最佳实践，然后尝试给出分布式存储场景下对日志模块的需求抽象，最后是技术探索路上个人的一点点感悟。
阿里云开发者
637 81
蓝易云
|
8月前
|
存储 关系型数据库 MySQL
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用，而且可以根据需要定制备份的时间和频率。但是，它也有一些限制，例如，它不能备份MySQL服务器的配置文件和用户账户信息，也不能实现增量备份。如果需要更复杂的备份策略，可能需要使用专门的备份工具或服务。
蓝易云
218 15
1786310562865821
|
9月前
|
关系型数据库 Shell 网络安全
定期备份数据库：基于 Shell 脚本的自动化方案
本篇文章分享一个简单的 Shell 脚本，用于定期备份 MySQL 数据库，并自动将备份传输到远程服务器，帮助防止数据丢失。
1786310562865821
421 5
游客kufrkwrbkmpsa
|
9月前
|
数据库
【YashanDB数据库】YAS-02079 archive log mode must be enabled when database is in replication mode
YAS-02079 archive log mode must be enabled when database is in replication mode
游客kufrkwrbkmpsa
162 0
顾翔
|
3月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能（下）
使用MYSQL Report分析数据库性能
顾翔
162 3

热门文章

最新文章

  • 1
    16 倍性能提升，成本降低 98%！ 解读 SLS 向量索引架构升级改造
  • 2
    【赵渝强老师】大数据日志采集引擎Flume
  • 3
    防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
  • 4
    云栖大会｜AI时代关系型数据库创新突破：软硬协同赋能企业数智化转型
  • 5
    云栖大会｜AI时代的数据库变革升级与实践：Data+AI驱动企业智能新范式
  • 6
    Python SQLAlchemy模块：从入门到实战的数据库操作指南
  • 7
    云栖大会｜AI浪潮下的NoSQL演进：下一代数据库的破局之道
  • 8
    除了JDBC，还有哪些常见的数据库访问技术？
  • 9
    【赵渝强老师】使用NetManager创建Oracle数据库的监听器
  • 10
    【最佳实践】简单配置，实现Filebeat多行日志传送
  • 1
    除了JDBC，还有哪些常见的数据库访问技术？
    279
  • 2
    Python SQLAlchemy模块：从入门到实战的数据库操作指南
    372
  • 3
    云栖大会｜AI时代关系型数据库创新突破：软硬协同赋能企业数智化转型
    784
  • 4
    云栖大会｜AI时代的数据库变革升级与实践：Data+AI驱动企业智能新范式
    701
  • 5
    云栖大会｜AI浪潮下的NoSQL演进：下一代数据库的破局之道
    364
  • 6
    【赵渝强老师】使用NetManager创建Oracle数据库的监听器
    224
  • 7
    探究ClickHouse数据库的Mutation机制
    193
  • 8
    阿里云RDS云数据库全解析：产品功能、收费标准与活动参考
    627
  • 9
    云栖重磅｜瑶池数据库：从云原生数据底座向“AI就绪”的多模态数据底座演进
    477
  • 10
    AI大模型应用实践 八：如何通过RAG数据库实现大模型的私有化定制与优化
    623

    • 相关课程

    更多
  • 应用视角出发的数据库流量治理
  • 数据库治理的最佳实践
  • 从0到1数据库内核实战教程
  • 大咖说 - 开源数据库
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    一文了解：阿里云对象存储OSS是什么？