开发者学堂课程【关系型数据库 ACP 认证课程：数据库生态工具&架构】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/927/detail/14622
数据库生态工具&架构
1) 数据开发能力中周期集成介绍：
数据库的调度任务以小时为单位进行调度，DMS就可以利用它基础的能力。
丰富数据源：
支持27种数据源，包括OLTP/OLAP/NoSQL/对象存储/数据湖;支持跨IDC、云厂商数据源的统一管理。
高性能：
支持分布式集成架构，突破单机瓶颈。同时，提供限流手段，按需先流保护数据源。
运维简单：
通过性能监控、端到端一键诊断功能及报警监控等策略，实现极低运维门槛。
灵活调度
可按需配置调度，最高调度周期可低至5分钟。
1. 数据迁移 DTS
1) 数据迁移DTS产品介绍
数据传输服务(Data Transmission Service，简称DTS)支持关系型数据库、NoSQL、大数据(OLAP)、分布式数据库等数据源，集数据迁移、订阅、实时同步及ETL流式数据处理功能于一体，能够解决公共云、混合云场景下，远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流。
我们的业务方可以自己通过DTS提供的SDK来对接数据进行消费。
2) 整体技术架构介绍：
主要是去消费数据源的一些日志然后去解析成一个中间格式，在针对不同的目标进行转换，最终投递到目标当中。这里面组件很多，比如可以通过控制台、API建立数据传输的任务。会有预检查过程，逐项通过才能往下走。数据的迁移会分成三个阶段：结构迁移、全量迁移和增量迁移。如果是数据订阅，可以通过SDK进行数据实时订阅。
l 全球公有云第一个数据流产品
l 阿里经济体数据库全球化和异地多活底座
l 9年打磨，支撑双11大促
l 支持多达20多种数据源和目标．服务近5万企业客户，已完成近60万个数据库上云
3) 数据实时同步链路原理：
结构迁移、全量迁移、增量迁移三者有机的使用，再结合实时同步就可以实现接近于零停机的迁移。
l 结构迁移∶迁移元数据。数据类型准确、PK/UK/索引约束准确
l 全量迁移∶迁移存量数据。对数据库影响低、速度快
l 增量拉取∶捕获迁移过程中的变化数据。数据保真、不丢数据
l 增量写入∶迁移增量数据。数据一致、链路无延迟。（幂等、冲突矩阵)
l 全量数据校验︰保障源和目标数据一致性。快速、具备订正能力
4) 多业务场景数据传输解决方案
数据库所在的网络经常是多种多样的，如果这写各种各样的数据库想要迁到云上来。就会面临网络的互通问题。
DTS致力于在公有云、混合云场景下，解决远距离、毫秒级异步数据传输难题，如不停机迁移上云、异地灾备、异地多活、数据中台实时数据集成、数据实时订阅等问题。它底层的数据流基础设施为阿里双11异地多活基础架*为数万下游应用提供实时数据流。用户可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。
5) 数据实时订阅
主要通过数据订阅支持实时拉取RDS实例的增量日志，用户可以通过DTS提供的SDK数据订阅服务端或者kafka client来订阅增量日志，同时可以根据业务需求，实现数据定制化消费。DTS负责从源库来拉取日志然后进行存储，业务端通过SDK来消费，来实现下游的业务处理。
DTS服务端的日志拉取模块主要实现从数据源抓取原始数据，通过解析、过滤、标准格式化等流程，最终将增量数据在本地持久化。
日志抓取模块通过数据库协议连接并实时拉取源实例的增量日志。例如源实例为RDS for MySQL，那么数据抓取模块通过Binlog dump协议连接源实例.日志拉取模块及下游消费SDK的高可用:DTS容灾系统一旦检测到日志拉取模块出现异常，就会在健康服务节点上断点重启日志拉取模块，保证日志拉取模块的高可用。
DTS支持在服务端实现下游SDK消费进程和client的高可用。用户同时对一个数据订阅链路，启动多个下游SDK消费进程和消费client ，服务端同时只向下游消费推送增量数据，当这个消费进程异常后，服务端会从其他健康下游中选择一个消费进程，向这个消费进程推送数据，从而实现下游消费的高可用。
6) 业务数据实时分析与计算
场景说明∶用户需要实时或定期对线上业务数据进行数据分析，以实现营销决策，业务大屏，实时查询等业务场景
解决方案∶使用数据同步功能，将线上业务变更数据准实时同步到大数据分析产品中，业务实现准实时数据分析，快速抢占商务先机。
实时分析：
业务更新数据需要同步到AnalyticDB/Maxcompute中，跟其他数据进行实时交叉查询分析。
流式分析：
流式分析需要借助流计算对线上业务更新数据进行流式分析。
2. 数据备份服务 DBS
1) 数据备份服务DBS的产品介绍
● 数据备份（简称DBS）是阿里云提供的低成本、高可靠的云原生数据备份平台。DBS旨在保护数据资产、激活数据价值。
● DBS提供无限容量的备份存储、秒级应急恢复和恢复演练，并借助秒级沙箱实例和备份数据查询激活冷数据。DBS支持MySQL、SQL Server、Oracle等近10种数据库，支持文件、日志、数据库等全站备份，支持本地数据中心、其他云厂商、ECS数据库及RDS数据库等环境，是客户首选的企业级混合云统一备份平台。
● DBS旨在保护数据资产、激活数据价值。
2) 数据备份服务DBS的产品介绍-数据副本管理(CDM)
通过CDM可以把来自于阿里云或者其他云提供的数据源，都可以同步到DBS中。
DBS服务端大体架构分为三层。中间层为混合云备份管理，包括备份策略、数据源、存储管理、备份数据、应急容灾、恢复演练、对比校验、监控告警。中间层之上是云原生数据应用，包括开发测试、历史归档、数据湖分析、云容灾。最下面是混合云存储管理。
3) 数据备份服务DBS支持的数据源及其环境
数据源：
①数据库︰
● OLTP : MySQL、Oracle、sQL Server、PostgresQL、PolarDB MySQL、PolarDB PostgresQL、PolarDB O、PolarDB-X
● OLAP :ADB PG，ADB MySQL
● NoSQL : Redis、MongoDB
②文件︰文件、审计日志
环境：
①阿里云∶阿里云数据库、阿里云ECS自建数据库和文件
②混合云∶本地IDC自建数据库和文件
③其他云∶AWS、华为云、腾讯云、京东云、UCloud等自建数据库和文件
4) 数据备份服务DBS支持的存储类型
云存储：
①分布式快照存储:CDM
②分布式对象存储:OSS/S3
③分布式文件系统∶
● Lindorm/HDFS
● NAS ( NFS/SMB )
归档存储：
①归档型OSS
②阿里云ECS/本地IDC:Linux/Windows服务器自动/手动
③本地IDC :
● NAS、FTP、Minio ( S3 )
● 蓝光、光盘
5) 数据备份服务DBS支持的备份方式
①数据：
物理备份，包括全量、增量、日志
逻辑备份，包括全量、日志
快照备份，包括全量、日志
②上传：流式备份、转储备份、挂载备份
③加速：置并发数提升备份恢复速度
④限流：置IO限流值或带宽限流值
⑤安全：
配置HTTPS传输加密
配置AES256和BYOK存储加密
⑥降本：
配置GZIP、LZ4、引擎内置压缩算法
部分版本可配置源端、异步重删
⑦网络：公网、专线、cen、数据库网关DG（无需暴露公网)接入
⑧计算：配置SQL进行历史数据归档
⑨存储：配置多级存储池进行多级数据流转和管理
6) 数据备份服务DBS支持的恢复方式
①恢复粒度：例、库、表恢复
②恢复环境：可挂载CDM存储盘恢复到原实例、自建新实例、RDS新实例、CDM沙箱新实例
③恢复新实例规格：按需创建指定规格
④可恢复时间点：物理、逻辑、快照备份的全量可恢复当前全量时间点，增量备份可恢复当前增量时间点，日志备份可恢复任意时间点
⑤恢复演练：定时恢复到RDS、CDM秒级恢复演练，数据可用性校验，演练和可用性报告。
7) 数据备份服务DBS支持的备份数据应用方式
①SQL查询备份：CDM沙箱实例可查询任意时刻数据状态，DLA可查询全量备份数据状态
②下载出云：配置手工、自动下载出云
③下载计算：全量备份转CSV、打包计算
8) 数据备份服务DBS的典型应用场景
①统一备份∶云数据库/自建库、维护/巡检/策略/账号/优化
②库表恢复∶仅单库或单表恢复到源实例
③应急恢复∶全增合并(后台)、快照挂载(秒级)、日志应用(任意时间点)、1TB/2分钟(数据恢复)、512MB/5分钟(日志恢复)
④恢复演练∶备份数据自动做恢复验证并产出演练报告
⑤数据构建︰备份数据应用，用于开发/测试/压测/报表/分析跨地域⑥跨地域备份︰跨境、跨云、跨可用区
⑦数据归档∶释放前保留、行级数据保留并清理(DMS)
⑧备份到本地∶备份到客户存储，NAS/S3等
⑨备份上云∶冷备到阿里云，同地或异地
⑩灾备上云∶冷备到阿里云，云端快速拉起
二、 回顾与总结
阿里云的数据库生态工具分别是：
数据库自治服务DAS：数据库常见问题和解决方案，自治数据库发展趋势与核心技术，数据库自治服务功能与技术解析。
数据管理DMS：数据管理DMS功能简介。
数据传输服务DTS：数据迁移DTS功能简介。
数据库备份DBS：数据备份DBS功能简介。
三、 试题
1、数据库自治服务DAS是一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务。以下属于DAS主要功能的是()
A、SQL诊断和优化
B、慢SQL分析
C、增量SQL分析
D、全量SQL分析
E、快SQL分析
DAS主要功能的是SQL诊断和优化、慢SQL分析、全量SQL分析，快SQL分析，是没有这种说法的。
2、数据库备份DBS是阿里云提供的低成本、高可靠的云原生数据库备份平台。DBS通过备份网关连接服务器，进行备份、恢复及下载数据等操作。以下()需要用户安装DBS备份网关。
A、RDS数据库物理备份
B、自建MySQL数据库物理备份
C、自建SQL Server数据库物理备份
D、RDS数据库逻辑备份
如果是阿里云自己的数据库里面，就不需要去安装备份的网关，阿里云自己就打通了。只有在自建的数据库上才需要去安装备份的网关。
3、备份集的生命周期为备份数据在数据库备份DBS中的保存周期。用户可以配置备份集生命周期，DBS会根据自定义的规则来自动进行备份集转存与过期清理。下列关于备份集的生命周期说法正确的是()。
A、在创建备份计划后修改了生命周期，修改后的新配置规则对新生成备份集和已存在备份集都生效
B、在创建备份计划后修改了生命周期，修改后的新配置规则仅对新生成备份集生效，对已存在备份集都不生效
C、DBS根据生命周期清理过期备份集的条件为该备份计划的全量备份集大于3个
D、只有全量数据备份设置生命周期，增量备份不支持设置生命周期
在创建备份计划后修改了生命周期，修改后的新配置规则对新生成备份集和已存在备份集都生效的。过期清理的规则是，为这个备份计划的群量备份集如果大于3个就会产生过期清理操作。没有达到就不会触发过期清理。D错在全量增量都支持设置生命周期的。
4、某用户将PolarDB历史库作为阿里云RDS MySQL或者PolarDB MySQL引擎数据库服务的归档存储地，将访问较少的历史数据迁移到PolarDB MySQL引擎X-Engine中存储，释放在线数据库的空间以降低成本并提升性能，那么该用户可以通过()将在线数据迁移至PolarDB历史库。
A、DAS
B、DTS
C、DMS
D、DBS
可以通过DMS周期性的把在线的数据给导入带PolarDB历史库当中。
