大咖与小白的日常:高性价比的数据归档解决方案

简介: 本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

本文为您介绍一个全新数据归档方案(DMS + AnalyitcDB PostgreSQL),帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析。

背景

随着企业的数据资料持续积累,为了满足审计合规要求或潜在的分析决策,企业需要持久化保留企业的数据资产; 但是数据的存储成本巨高不下,对面对审计或者分析时的数据无法快速使用是企业在数据归档存储的场景下所面临的两大困境。

是否有“低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析”? 在这个背景下, DMS + AnalyticDB PostgreSQL(简称ADB PG)基于Serverless版共同推出了数据归档能力; 可以面对数据库,实现“灵活低价 + 归档管理 + 高分析性能”的整套数据归档方案。

数据归档介绍

功能介绍

DMS 目前支持用户面向OLTP(事务型)数据库,即面向企业主要的生产日志,交易等业务数据进行灵活的数据归档。可以在DMS的解决方案处找到该解决方案;该解决方案支持用户灵活定制面向生产数据库的数据归档逻辑,支持表级归档,客制化归档条件,归档过程数据映射,归档清理等主流归档能力;同时支持自定义周期性运行,可满足面向审计,历史数据分析的数据归档诉求。

(图1)

AnalyticDB PostgreSQL Serverless版发布,作为全新的归档引擎,通过支持按需启停,在数据归档场景中支持归档时计算资源启动,归档后计算资源暂停这套解决方案大幅优化了OLAP引擎作为归档是的成本浪费,保证了计算按需启动。同时AnalyticDB PostgreSQL的Serverless版本的相较于其他OLAP引擎有较大存储成本优势。对于存在分析诉求的场景,可于ADB PG的产品控制台直接启动使用,ADB PG Serverless版本具有极强的数据分析性能,相较于OSS等存储介质,可帮助用户结构化的管理归档数据,同时按需对归档数据进行高效分析。

(图2)

主流方案能力对比

归档方案

使用OLTP数据库

OSS

传统OLAP引擎

ADB PG Serverless版

价格

较差

优秀

较差

优秀

数据管理

优秀

较差

优秀

优秀

数据查询+分析

中等

较差

优秀

优秀

创建您的归档任务

资源要求

为实现数据归档,用户需要确认保有以下资源:

您的业务(事务型)数据库,此为用户主要的归档的数据源;

AnalyticDB PostgreSQL Serverless版 (简称 ADB PG Serverless),此为用户归档目标,提供归档计算引擎及存储引擎; 点击购买Serverless实例,建议使用按量付费版本。

Note:点击了解更多ADB PG Serverless版本

归档流程介绍

数据归档需要选择通过DMS提供的数据归档解决方案中,配置数据源,归档逻辑,归档周期,归档目标; 在执行归档后,用户直接访问归档目标并使用DMS进行归档数据管理, 直接提交SQL进行归档数据分析及查询; 如图3所示;

(图3)

当前已支持主流事务型数据库,包括RDS MySQL ,PostgreSQL & Polar MySQL PostgreSQL进行数据归档;

需保证您已登录阿里云账号

第一步:进入归档页面

登录DMS 控制台,如图4所示进入归档解决方案页面;

(图4)

第二步: 创建归档任务

点击【数据归档】按钮,配置数据归档任务;如图5~7;

设置任务名称: 提供数据归档任务的名称;

选择归档目标类型: 选择归档类型为ADB-PG

选择ADB PG实例: 若您已经有ADB PG 的Serverless实例,可搜索实例名称; 若还未有ADB PG实例,可以点击“前往购买ADB PG Serverless 版”进行购买; (注意,您需要在购买后,登录DMS确保DMS可搜索到该实例,可通过AnalyticDB的快速开始教程,进行ADB PG实例初始化设置;)

成本最优选择: 若您选择ADB-PG的serverless版本,支持“成本最优”选项, 该选项会自动在归档任务完成后暂停ADB-PG实例,为您节省空闲时间内的计算资源费用;

配置需要备份的数据库: 完成ADB PG实例选择以后,可选择所需要被备份的数据库,可直接搜索数据库名称, 若无法找到,可尝试通过DMS登录该数据库所在实例,确保元数据被DMS获取;

配置备份表:选择被备份数据库中需要备份的数据表,同时可输入表内的数据筛选逻辑(可选);

配置归档时间参数(可选): 若希望进行基于时间的备份数据筛选,可以设置时间参数; 可参考视频方法和逻辑进行配置;

设置归档执行周期: 支持多种执行周期选择,包括每小时,每日,每周,每月等;

设置归档后行为: 支持归档后的数据的清理,会提供自动的数据校验,确保数据归档无误后进行归档部分数据删除。

(图5)

(图6)

任务创建后,点击提交会生成样本执行SQL,并进行测试执行,只有测试运行成功后会进行下一步流程,如图7所示;。

(图7)

提交后会需要经过审批,(若加入“安全协同”模式,择需要进行组织协同内部审批,否则会直接创建,并在计划的下一次计划的时间执行;如图8。

(图8)

视频教程:如何配置数据参数

第三步: 归档任务管理

在归档任务创建以后,可以在控制页面以工单方式进行管理; 如图9

(图9)

对于一个任务,可以点击“详情”查看过去历史的归档记录任务执行情况; 如图10所示。

(图10)

第四步: 查看归档数据并进行分析

当归档完成后,若您需要对归档数据进行分析,可登录ADB-PG控制台,查看归档实例;

若您选择的是成本最优,则您的实例会处于“已暂停”状态,您需要进行实例启动,如图11所示。

(图11)

实例启动之后,可通过用户名和密码登录DMS实例并寻找归档数据库进行分析,如图12。

(图12)

找到归档实例,归档数据库,双击进入数据库后可进行SQL提交,如图13。

(图13)

方案优势 & 总结

对于事务型数据库的归档一直是企业数据场景中必不可少的场景。 当企业在云部署业务以后,我们期待帮助用户可以无需再重新构建一套客制化的解决方案。 我们希望提供给客户一套高度托管的产品集成解决方案,满足用户对于归档链路的易用性,分析能力,归档资产管理能力和低成本的全面诉求;

接下来ADB PG会推出冷存储和归档型存储,其价格及性能将持续为用户的大规模数据归档存储节约成本; 想要了解更多细节,可访问ADB PG 的官网或加入ADB PG的钉钉社区(钉钉搜索群组:11700737)进行咨询;

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
计算机视觉 iOS开发 MacOS
Alfred Clipboard History 回车自动粘贴失效
Alfred Clipboard History 回车自动粘贴失效
1910 0
Alfred Clipboard History 回车自动粘贴失效
|
存储 开发框架 JSON
区块链开发必备的9个Rust包
Rust是新一代的潜力巨大的开发语言。本文编辑整理了9个主流的用于以太坊、比特币、tendermint、eosio、polkadot等区块链开发的Rust包,可用于区块链应用的快速开发。
2557 0
|
5月前
|
存储 监控 安全
RFID让智慧工地管理更简便
RFID技术助力智慧工地管理,实现人员、材料、设备的高效管控与安全提升。通过智能识别与数据追踪,优化施工流程,保障工程进度与质量,推动建筑行业智能化发展。
|
监控 druid
druid 连接池监控报错 Sorry, you are not permitted to view this page.
druid 连接池监控报错 Sorry, you are not permitted to view this page.
2481 0
|
数据库 索引
联合索引和单独列索引哪个更好
【10月更文挑战第15天】联合索引和单独列索引哪个更好
509 2
|
关系型数据库 API Apache
Flink CDC:基于 Apache Flink 的流式数据集成框架
本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。
21183 11
Flink CDC:基于 Apache Flink 的流式数据集成框架
|
算法 关系型数据库 数据库
德哥的PostgreSQL私房菜 - 史上最屌PG资料合集
看完并理解这些文章,相信你会和我一样爱上PostgreSQL,并成为PostgreSQL的布道者。 沉稳的外表无法掩饰PG炙热的内心 。 扩展阅读,用心感受PostgreSQL 内核扩展 《找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南》https://yq.
58991 152
|
存储 缓存 算法
OceanBase历史数据归档方案技术原理解读
OceanBase历史数据归档方案技术原理解读
|
存储 关系型数据库 数据管理
【最佳实践】高性价比的数据归档解决方案(DMS + AnalyticDB PostgreSQL)
发布全新数据归档方案,依托DMS + AnalyticDB PostgreSQL Serverless版本,帮助客户用低价格实现海量数据的持久化,还可以对归档数据进行完善管理、高效寻回、查看并进行分析
【最佳实践】高性价比的数据归档解决方案(DMS + AnalyticDB PostgreSQL)
|
人工智能 搜索推荐 安全
云上远程医疗:跨越时空的医疗革新,重塑健康服务新生态
政策支持和监管加强:随着云上远程医疗的快速发展,政府将出台更多支持政策和监管措施,促进产业的健康有序发展。同时,行业也将加强自律和协作,共同推动云上远程医疗的规范化、标准化发展。 跨界融合与生态构建:云上远程医疗将与保险、健康管理等领域实现跨界融合,构建更加完善的健康服务生态体系。这将有助于提升整个医疗健康行业的服务水平和竞争力。 结语
927 0

热门文章

最新文章