Cassandra 备份恢复相关系列之incremental backups 介绍

简介: 介绍cassandra运维相关的备份恢复之增量备份

本文会就与cassandra备份恢复相关的模块进行系列介绍,大概包括:incremental backups;snapshot;nodetool相关(refresh,rebuild_index等),这里会优先介绍下incremental_backups;

本系列使用代码为cassandra-3.11版本;

incremental backups

Incremental backup 顾名思义就是增量备份,大概可以理解为对cassandra新增的数据进行备份。

开启incremental backups

默认情况下incremental backups是关闭的,有2种途径可以开启incremental backups:

  • 在cassandra 的conf目录下面的cassandra.yaml配置文件里面有 incremental_backups 这么一个配置项,该配置项默认是false;你可以选择改为true,但是需要重启进程,毕竟是需要重新load配置项;
  • 当你的集群进程已经启动,但是又不想重启集群的时候,可以选择bin目录下面有 nodetool 工具,选择 enablebackup 命令即可;因为我们通过代码看到 与 incremental_backups相关的变量是volatile 所以这种操作也是生效的,但是这个命令只能在一个节点生效,如果要操作集群,需要并发对各个节点执行;

    public volatile boolean incremental_backups = false;

当我们开启incremental backups功能以后,每当有新的数据从内存memtable flush 到磁盘,就会对新的生成的sstable打一个hardlink;

public void maybeIncrementallyBackup(final Iterable<SSTableReader> sstables)
    {
        if (!DatabaseDescriptor.isIncrementalBackupsEnabled())
            return;// 如果没有开启就跳过,开启就对sstable相应的磁盘文件打hardlink

        for (SSTableReader sstable : sstables)
        {
            File backupsDir = Directories.getBackupsDirectory(sstable.descriptor);
            sstable.createLinks(FileUtils.getCanonicalPath(backupsDir));
        }
    }

此外,对于bootstrap加入的,decommission减少的,move等操作造成一致性hash环变动的,而造成数据迁移的操作,都会再拖数据的时候,生成该硬链接,下面是我对集群新增节点以后,新增节点的对应keyspace的table下面的backups目录下面的拖来的数据;

[root@Cassandra8c32GTest006 backups]# ll /data/data1/keyspace1/standard1-93263960883911e99a9ae16f3def2644/backups/
total 4324
-rw-r--r-- 2 root root     256 Jun 20 10:19 na-11-big-CRC.db
-rw-r--r-- 2 root root 4094625 Jun 20 10:19 na-11-big-Data.db
-rw-r--r-- 2 root root      10 Jun 20 10:19 na-11-big-Digest.crc32
-rw-r--r-- 2 root root    5536 Jun 20 10:19 na-11-big-Filter.db
-rw-r--r-- 2 root root  293888 Jun 20 10:19 na-11-big-Index.db
-rw-r--r-- 2 root root   10264 Jun 20 10:19 na-11-big-Statistics.db
-rw-r--r-- 2 root root    3132 Jun 20 10:19 na-11-big-Summary.db
-rw-r--r-- 2 root root      80 Jun 20 10:19 na-11-big-TOC.txt

在特定的backups目录下面是对应的需要做增量备份的sstable文件。我们可以对这个文件进行直接的备份即可;当然备份完成的文件需要手工的执行删除操作,不然这些文件是不会被清理掉而造成占用存储空间的问题。

钉钉群:
1b211c42d2911109ac34b9e79c33ef2992458c75_jpeg
微信公众号:
769f0e6930ac3f1d14fcee09f1bd0a7fc178d933_jpeg

目录
相关文章
|
存储 Prometheus Kubernetes
「译文」通过 Relabel 减少 Prometheus 指标的使用量
「译文」通过 Relabel 减少 Prometheus 指标的使用量
|
8月前
|
传感器 数据采集 算法
【免费开源】基于 STM32F4 的四轴飞行器设计与实现——从零开始到成功起飞(项目源码打包分享)
四轴飞行器作为一种低空、低成本的遥感平台,已经在多个领域展现出广泛的应用潜力。相比其他类型的飞行器,它在硬件上结构紧凑、安装方便,但在软件层面却充满挑战——从传感器数据融合到姿态解算,再到快速且稳定的控制算法,每一环节都需要精心设计,也正因此让四轴飞行器更具技术魅力。
791 74
|
应用服务中间件
dist文件夹、src文件夹、dest文件夹作用
dist文件夹、src文件夹、dest文件夹作用
1042 0
|
设计模式 前端开发 安全
Qt注册类对象单例与单类型区别
在进行开发时,应当根据具体的应用场景和需求来选择使用单例模式或是单类型。如果是全局服务或状态管理,可能需要单例模式;如果是为了使QML环境下的不同组件能够访问到同一个后端服务对象,则可能需要使用单类型。
311 3
|
运维 监控 负载均衡
软件架构设计:从单体到微服务的演进之路
【6月更文挑战第19天】从单体到微服务的演进:随着软件发展,从单体架构到微服务成为趋势。单体架构因简单起家,但随着规模扩大,出现扩展性、维护性和可靠性问题。微服务架构应运而生,通过拆分独立服务,提升可扩展性和可维护性,增强系统可靠性。然而,微服务也带来复杂性和更高的运维成本。演进策略包括识别可拆服务、逐步重构、引入服务治理和持续优化。
|
存储 Oracle 关系型数据库
使用Docker安装ClickHouse
ClickHouse是一个由俄罗斯最大的搜索公司Yandex开源的列式数据库(DBMS),主要用于在线分析处理查询(OLAP),于2016年开源,采用C++开发。凭借优秀的性能,市场反应非常热烈。
2985 0
使用Docker安装ClickHouse
《QT从基础到进阶·十六》QT实现客户端和服务端的简单交互
《QT从基础到进阶·十六》QT实现客户端和服务端的简单交互
430 0
|
搜索推荐 iOS开发 MacOS
MathType7公式编辑器新版详细介绍下载安装
它是一款用于数学公式编辑和排版的软件。MathType可以在Microsoft Word、PowerPoint、Google Docs等文档编辑器中直接使用,也可以将编辑好的公式导出为多种格式,如LaTeX、MathML、图像等。MathType支持数学符号、公式、方程式、矩阵、分数、上下标、括号等多种数学元素,并且通过快捷键或鼠标操作可以快速插入和编辑公式。
|
存储 数据可视化
QT 使用图表
QT 使用图表
|
网络协议 网络虚拟化
ovirt添加逻辑网络并且给虚拟机配置逻辑网络
ovirt添加逻辑网络并且给虚拟机配置逻辑网络