PolarDB-X 的部署与运维(一)| 学习笔记

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 快速学习 PolarDB-X 的部署与运维。

开发者学堂课程【PolarDB-X 开源分布式数据库进阶课程 :PolarDB-X 的部署与运维(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1202/detail/18163


PolarDB-X 的部署与运维  

 

内容介绍

一、PolarDB-X 简介

二、课程介绍

三、课程资源(运维系统)

四、国产 ARM 支持

五、企业级运维能力

六、参考资料

   

一、PolarDB-X 简介

1.PolarDB-X 架构

PolarDB-X 是阿里云自主研发的云原生分布式数据库,能支持千万级的并发,以及海量的数据存储。专注解决单击数据库的扩展性问题。目前 PolarDB-X 进行了数据开源。

下图是 polarDB-X 的架构,主要有四个组件构成。

image.png

第一部分是 GMS,又被称为元数据服务元数据服务 (Global Meta Service, GMS),它储存着整个 PolarDB-X 集群的元数据信息。同时也是分布式事务所依赖的提供全局授时服务(TSO)的受事机构。同时还能维护 Table/Schema、Statistic 等 Meta 信息。维护账号、权限等安全信息。

第二部分是计算节点(Compute Node,CN)。它是 PolarDB-X 集群流量的入口,服务器会将业务发送到 CN 节点对它进行基于无状态的 SQL 引擎提供分布式路由和计算,再导到 DN,再将处理的结果最终再返回给服务器,同时 cn 节点处理分布式事务的 2PC 协调、全局索引维护等。

第三个组件是存储节点 (Date Node,DN)节点,是实际数据存储的地方,同时他基于 Paxos实现了一个数据存储,保证我们数据的高可用,同时也会处理分布式的 mvc 事务进行可见性的判断,以此支持进行 RR、RC 级别的分布式事务。

第四个节点是日志节点(Change Data Capture, CDC),提供兼容 MySQL 生态的 binlog 协议和数据格式;提供兼容 MySQL Replication 主从复制的交互。它的主要作用是会将每一个 DN 节点上物理的 binlog 转化成逻辑的 binlog 流,以此达到和下流的大数据生态系统进行无缝的对接,方便用户将数据通过 ETL 的形式发送到大数据体系进行更进一步分析,对于用户而言拥有 CDC 可以将次看作一个单机的 MySQL。

 

二、课程介绍

在6月份基于 PolarDB-X 6.0版本推出“PolarDB-X 七天玩转开源训练营”的课程,在课程当中围绕着 PolarDB-X 的安装部署、快速使用、运维管理、整合优化以及高可用几个方面,对于 PolarDB-X 的原理以及整个使用方式做了一个详细介绍。与此同时还配套提供“跟我学 PolarDB-X”云起实验室的实验课程。在每一门课的结束都会配套一个云起小实验。让大家通过实际动手的方式了解 PolarDB-X 的使用方式。课程的网址是https://developeraliyun.com/learning/course/1032,可以点击了解关于 PolarDB-X 的基础知识,本节课就是在这些基础知识之上进行的。

经过几个月的迭代。 PolarDB-X 近期推出了 PolarDB-X V2.2 里程碑式的版本。在这个版本中具有一些国产化和企业型特质。

1.国产化适配

适配国产芯片,支持 ARM 平台架构;

适配国产操作系统 kylin/UOS 等

2.性价比优化

拥有更小起步规格,2core 8G 可部署;

同时对 RPC 协议、单节点的分布式事物做了优化,使得全方位性能优化,60%的性能提升。

3.云原生 HTAP

在这一版本中支持集群,能够方便的让业务通过读写分离的方式来实现在线业务与离线业务的资源墙隔离,提高50%的性能提升;

RO 节点能默认开启 MPP 并行计算,提高复杂查询的处理能力。

4.MY SQL 生态兼容性

在v2.2版本兼容 MySQL 存储过程、Uf 函数;

还推出兼容 MYSQL Auto Increment,它能提供全局唯一单调递增的有序序列。

5.数据库安全

在这一版本中支持全量 SQL 审计;

支持在误删数据的情况下,能帮助快速恢复的 flashback Query。

6.分布式数据管理

对于分布式数据管理而言,数据也是通过一定的策略分布在数据节点上,对数据进行一个高效的管理是衡量分布式数据库的一个重要指标,因此在v2.2这一版本中对于 PolarDB-X 的分区表管理能力做了进一步加强;具备基于 Locality 综合性调度;根据不同版本进行冷热数据分离调度,降低使用成本。

7.开源配套工具

配备了很多开源配套工具例如专门支持 DN 备份的 polardbx-backup ,压测工具 benchmark-boot ,数据导入导出工具 batch-tool。

8.轻量化部署和运维

在这一版本中,推出了众多企业级特性,例如强一致备份恢复、参数模板管理、容灾部署(同城三机房、两地三中心)等保护数据高可靠的能力。

这一次课程便是围绕 PolarDB-X v2.2里面的一些重要特性,来进行一一介绍和解读

课程资源:

源码搜索:在 Github:上直接搜索 GalaxySQL(对应的是 CN 节点)、 GalaxyEngine(对应的是 DN 节点)、 GalaxyGlue GalaxyCDC (对应的是 CDC 节点)、GalaxyKube(对应 polarDB-XD 的 operate 的代码)                                                                                                              

产品&文档网站 :https://doc.polardbx.com ,这里面包含一些 polarDB-X 的详细介绍

知乎官号:原理解读、源码解读、领域论文阅读

云起实验室:在这次课程中配套了《PolarDB-X 开源分布式数据库进阶》动手实践系列实验室,在课后通过实际动手操作进行练习。

相关文章
|
安全 虚拟化
GIC规格学习(一)
GIC规格学习(一)
694 0
|
6月前
|
人工智能 运维 监控
MCP 打通AI大模型与 Zabbix,运维新时代来了!
管志勇,高级软件开发工程师、OceanBase认证专家,深耕软件开发多年,专注Zabbix运维开发与数据可视化。本文介绍其如何通过MCP协议实现大模型与Zabbix的智能联动,打造高效运维新范式。
958 14
|
关系型数据库 编译器 分布式数据库
PolarDB实操课] 04.通过源码部署PolarDB-X企业版
本次课程由PolarDB开源架构师王江颖分享,详细介绍了通过源码部署PolarDB-X企业版的全过程。主要内容包括: 1. **编译基础** 2. **使用源码编译部署PolarDB-X企业版** 3. **演示实例**:通过阿里云ECS进行实际操作演示,从创建用户、赋予权限到最终启动并连接PolarDB-X数据库,展示了完整的部署过程。 4. **总结**
420 0
|
存储 关系型数据库 MySQL
再探PolarDB —— PolarDB MySQL 四大场景下的全方位评测
本文全面评测了阿里云PolarDB MySQL在四大关键场景下的表现:Serverless极致弹性、列存索引(IMCI)、弹性并行查询(ePQ)以及无感秒切高可用。通过官方提供的免费体验资源,我们深入了解了PolarDB MySQL的核心能力和性能。Serverless极致弹性列存索引(IMCI弹性并行查询(ePQ)无感秒切高可用此外,文章还介绍了PolarDB MySQL在数据备份和HTAP(混合事务/分析处理)场景下的优势,包括灵活的备份策略、高效的全量和库表恢复方式,以及通过IMCI支持的HTAP能力。这些特性共同构成了PolarDB MySQL作为一款先进的云数据库服务的强大竞争力。
|
存储 关系型数据库 MySQL
深度评测:PolarDB-X 开源分布式数据库的优势与实践
本文对阿里云开源分布式数据库 PolarDB-X 进行了详细评测。PolarDB-X 以其高性能、强可用性和出色的扩展能力在云原生数据库市场中脱颖而出。文章首先介绍了 PolarDB-X 的核心产品优势,包括金融级高可靠性、海量数据处理能力和高效的混合负载处理能力。随后,分析了其分布式架构设计,包括计算节点、存储节点、元数据服务和日志节点的功能分工。评测还涵盖了在 Windows 平台通过 WSL 环境部署 PolarDB-X 的过程,强调了环境准备和工具安装的关键步骤。使用体验方面,PolarDB-X 在处理分布式事务和实时分析时表现稳定,但在网络问题和性能瓶颈上仍需优化。最后,提出了改进建
|
人工智能 运维 Cloud Native
【技术产品】DS三剑客:DeepSeek、DataSophon、DolphineSchduler浅析
在大数据与云原生技术快速发展的时代,开源技术成为推动行业进步的重要力量。本文深入探讨了三个备受瞩目的开源产品组件:DeepSeek、DataSophon 和 DolphinScheduler。DeepSeek 是专注于自然语言处理的大语言模型,具备多模态交互和高效推理功能;DataSophon 是大数据云原生平台的智能管家,提供快速部署和智能化运维;DolphinScheduler 则是分布式任务调度系统,支持复杂工作流的编排与执行。三者分别在大语言模型、大数据管理和任务调度领域展现了强大的技术实力,并通过技术互补共同推动AI与大数据技术的深度融合。
1642 2
【技术产品】DS三剑客:DeepSeek、DataSophon、DolphineSchduler浅析
|
SQL 容灾 关系型数据库
[版本更新] PolarDB-X V2.4 列存引擎开源正式发布
[版本更新] PolarDB-X V2.4 列存引擎开源正式发布!
[版本更新] PolarDB-X V2.4 列存引擎开源正式发布
|
缓存 运维 关系型数据库
PolarDB产品使用问题之如何进行PolarDBX的本地部署
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
存储 SQL 弹性计算
实践教程之如何对PolarDB-X进行备份恢复
PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您如何对PolarDB-X进行备份恢复。
|
运维 监控 Java
开源PolarDB-X部署安装评测报告
在部署PolarDB-X时,需先准备符合要求的OS环境和安装JDK等依赖库。遇到的问题包括`protobuf`版本不兼容、`cmake`参数配置错误和启动服务时的配置挑战。文档更新滞后和错误信息不明确增加了安装难度。建议优化文档、提升错误信息引导性、提供自动化安装脚本、加强社区支持和产品功能。尽管安装过程复杂,但产品潜力值得认可,期待改进以提升用户体验。
650 8

热门文章

最新文章