MongoDB Hot Backup 测试及痛点

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

前言

Part1:写在最前

Percona MongoDB 支持Hot Backup,解决了MongoDB官方版本只能使用mongodump的情况。mongodump在小库中还好,量上来后,备份恢复都是痛苦的。本文就MongoDB hot backup 备份中的一个bug进行复现和解决。


实战

Part1:限制

在Percona MongoDB3.2.12版本之前,在进行物理热备份时,如果配置文件中配置了

directoryPerDB: true

directoryForIndexes: true

这两个参数的话,那么在执行备份的时候会爆出错误:

1
2
3
4
5
6
7
8
[root@HE1 bin] #./mongo 127.0.0.1:27020/admin
MongoDB shellversion: 3.2.11-3.1 
connecting to:127.0.0.1:27020 /admin
  
heleitest:PRIMARY>use admin
switched to db admin
heleitest:PRIMARY>db.runCommand({createBackup: 1, backupDir:  "/home/work/backup" })
"ok"  : 0,  "errmsg"  "boost::filesystem::copy_file: No such file or directory:\"/home/mongodb/data/admin/collection/11-6714811575794894766.wt\",\"/home/work/backup/admin/collection/11-6714811575794894766.wt\"" }



Part2:痛点

这个问题会很头痛,比如生产库中,MongoDB库越来越大,促使我们计划采用hot backup方案,由于起先的库开启了这个方式,那么临时的解决方案是什么样的呢?

1
2
It may be useful to simply  let  a secondary initial  sync  with those options off,  then  you could take a hot backup again to populate all the other nodes. This is not a solution but a path to get the production system back into a state you can use the backups. 
please note this assume production is built to best practices and is  in  a replica- set  and not a stand alone mongod process.

意思是在我们MongoDB常规的复制集中,如果想要备份这个库,那么首先要下掉一个Secondary,清空数据目录进行重新复制,这个过程会非常缓慢和复杂。如果仅仅是重启数据库的话,会起不来报错,原因是已经开启了多路径存储数据和索引独立存储这两个选项,而现有版本的hotbackup是不支持这样的备份方式的。



Part3:方案

好在Percona版本响应给力,在贺春旸老师提出该Bug后,官方在3.2.12-3.2版本便修正了这一问题,使得hot backup的痛点得以解决,例如,原先我需要重新对集群进行关闭参数,导出导入数据,这无疑是一个巨大的工作量,同时会让数据库可靠性在不短的时间内都处于较低状态。而现在,我们仅仅要做的就是升级数据库,这一问题就能够得到解决。



Part4:复现

1
2
3
4
5
6
[root@HE1 bin] # ./mongo 127.0.0.1:27020/admin
Percona Server  for  MongoDB shell version: 3.2.12-3.2
connecting to: 127.0.0.1:27020 /admin
  
heleitest:PRIMARY> db.runCommand({createBackup: 1, backupDir:  "/home/work/backup" })
"ok"  : 1 }


我这里先对之前的3.2.11-3.1版本进行一个升级,如何升级MongoDB数据库可参考:

http://suifu.blog.51cto.com/9167728/1947035

同时,配置文件中配置了

directoryPerDB: true

directoryForIndexes: true

可以看到,在3.2.12-3.2版本中,备份是没有任何异常的。



Part5:校验

我们来看下3.4最新版是否也是正常的

1
2
3
4
5
6
[root@HE1 bin] # ./mongo 127.0.0.1:27020/admin
Percona Server  for  MongoDB shell version v3.4.4-1.4
connecting to: mongodb: //127 .0.0.1:27020 /admin
Percona Server  for  MongoDB server version: v3.4.4-1.4
heleitest:PRIMARY> db.runCommand({createBackup: 1, backupDir:  "/home/work/backup" })
"ok"  : 1 }


可以看到,最新版也没有问题。



Part6:Percona 官方升级日志

#PSMDB-123: Fixed the creation of proper subdirectories inside the backup destination directory


贺春旸老师提交的jira

https://jira.percona.com/browse/PSMDB-123


——总结——

感谢贺春旸老师的bug提交,感谢Percona团队高效的修复速率,开源,让世界更美好~由于者的水平有限,编写时间也很仓促,文中难免会出现一些错误或者不准确的地方,不妥之处恳请读者批评指正。




 本文转自 dbapower 51CTO博客,原文链接:http://blog.51cto.com/suifu/1948583,如需转载请自行联系原作者



相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
监控 NoSQL 前端开发
|
存储 NoSQL Java
高可用mongodb集群(分片+副本):性能测试
高可用mongodb集群(分片+副本):性能测试
690 0
|
7月前
|
NoSQL 测试技术 MongoDB
【MongoDB 专栏】MongoDB 的性能基准测试与评估
【5月更文挑战第11天】MongoDB的性能基准测试对于优化至关重要,涉及数据读写速度、查询响应时间及吞吐量等指标。测试应明确目标和范围,选择合适的工具,考虑数据模型、索引、查询优化和系统配置等因素。性能评估需关注读写吞吐量、响应时间和资源利用率。通过多次测试、逐步增加负载和对比其他系统,识别性能瓶颈并持续优化。随着技术发展,测试方法和工具将持续创新,以应对复杂性能挑战。
293 3
【MongoDB 专栏】MongoDB 的性能基准测试与评估
|
7月前
|
DataWorks NoSQL 关系型数据库
DataWorks操作报错合集之在使用 DataWorks 进行 MongoDB 同步时遇到了连通性测试失败,实例配置和 MongoDB 白名单配置均正确,且同 VPC 下 MySQL 可以成功连接并同步,但 MongoDB 却无法完成同样的操作如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
110 1
|
7月前
|
监控 NoSQL 测试技术
MongoDB性能最佳实践:如何制定更有效的基准测试?
感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息
1949 3
|
NoSQL Java 测试技术
docker-compose部署mongodb4.4.8副本集群 + 权限 + springBoot集成测试
docker-compose部署mongodb4.4.8副本集群 + 权限 + springBoot集成测试
625 0
|
存储 NoSQL Oracle
Mongodb的下载安装和测试|学习笔记
快速学习Mongodb的下载安装和测试
Mongodb的下载安装和测试|学习笔记
|
2月前
|
存储 关系型数据库 MySQL
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB区别,适用场景
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景比较
|
1月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第21天】本文探讨了MongoDB Atlas的核心特性、实践应用及对云原生数据库未来的思考。MongoDB Atlas作为MongoDB的云原生版本,提供全球分布式、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了云原生数据库的未来趋势,如架构灵活性、智能化运维和混合云支持,并分享了实施MongoDB Atlas的最佳实践。
|
2月前
|
NoSQL Cloud Native atlas
探索云原生数据库:MongoDB Atlas 的实践与思考
【10月更文挑战第20天】本文探讨了MongoDB Atlas的核心特性、实践应用及对未来云原生数据库的思考。MongoDB Atlas作为云原生数据库服务,具备全球分布、完全托管、弹性伸缩和安全合规等优势,支持快速部署、数据全球化、自动化运维和灵活定价。文章还讨论了实施MongoDB Atlas的最佳实践和职业心得,展望了云原生数据库的发展趋势。