《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

一、 数据库业界发展趋势:全面拥抱云原生

 1. 技术趋势:云计算加速数据库系统演进

image.png

 

数据库技术是一个经典的技术,其基础理论早在上世纪70年代就已经基本成熟;在80年代就出现了商业化的产品。其后,每隔10年,数据库技术都会有标志性的产品出现。当然,云计算的出现也加速了数据库技术的发展。

 

在处理能力上,数据库从结构化数据处理、在线事务处理逐步向着海量数据的计算分析演进;在数据模型上,从传统的结构化模型逐步向着异构数据模型演进,越来越多的数据库都支持图、文档、时序、时空等新型数据模型。

 

云计算技术的发展给数据库带来了再次发展的机遇,云计算使得数据库向着云原生方向演进。其基本特征有两个,一个是计算分析一体化,减少数据处理过程中的数据移动,提升了数据的处理效率;另一个是存储计算分离,通过资源池化和资源解耦来满足高可扩展、高性能、弹性等需求。

 

2. 数据库技术架构演进:云原生分布式是未来

image.png

 

接下来,我们再来深入看一下数据库的架构演进过程。

 

从最早期的单体数据库开始,随着业务量和数据量的增长,单体数据库逐步向着分布式数据库演进。演进有两类技术路线:

 

基于共享存储,在这种架构下,事务一致性易于保证、使用体验与单机基本一致,局限性在于存储扩展能力存在上限,同时,性能受制于存储与计算之间的IO能力。

 

无共享架构,在这种架构下,单个节点同时包含存储和计算资源,优势在于扩展能力理论上无上限,局限性在于存储计算必须同步扩展,同时,性能受制于数据分布规则,使用门槛较高。

 

云计算技术推动了两种分布式架构的融合演进。基于云原生架构,在存算分离的基础上,计算和存储都可以随需求扩展;同时,分布式计算技术逐渐融入云原生架构,云原生数据库开始支持各种分布式计算模型,包括BSP模型、MPP模型等。

 

我们认为,未来的数据库会向着云原生分布式的方向不断演进,这也是我们在开源工作上会持续推进的方向。

 

二、 阿里云数据库整体开源策略

image.png

接下来和大家分享一下,我们过去一年在开源PolarDB上的两条开源策略。

 

策略一,兼容生态。因为数据库产品,它在整个IT软件体系中是一个承上启下的组件,所以数据库的发展是离不开生态的。众所周知,数据库领域有两大开源生态,MySQL和PostgreSQl,所以在刚才重磅发布上也体现了两款产品,PolarDB-X兼容MySQL的生态,PolarDB for PG兼容PG的生态。

image.png

 

策略二,把云上的产品直接开源。那么为什么要坚持这个原则?真正开放的开源数据库,它到底应该给用户去带来什么呢?我们有以下两个思考:

 

第一个思考,因为数据库的稳定性要求特别高,所以我们希望开源出去的PolarDB一开始就是企业级的数据库,它需要够成熟、够稳定,才能支撑客户的关键应用,所以我们选择了把在云上经过无数打磨的PolarDB云产品直接开源。

 

第二个思考,大家都知道阿里云数据库起源于开源,我们享受了大量开源数据库给我们的红利。现在我们发展起来了,我们也应该把我们认为做的好的技术,以及能够给用户和开发者带来帮助的技术回馈给社区,让更多的用户和开发者和我们一起,共同推进云原生分布式技术的发展。

 

三、 开源产品系列

image.png

 

接下来介绍一下我们开源的两款产品,PolarDB-X和PolarDB for PG。上面也提到了,PolarDB-X兼容MySQL生态,PolarDB for PG兼容PG生态。

image.png

 

上图是PolarDB-X的架构,它包括4个组件,分别是全局管理服务、计算集群、存储集群、日志集群。

 

最上面GMS是全局管理服务,主要提供元数据维护和全局授时服务。下面从左到右依次是计算集群、存储集群、日志集群。

 

计算集群是无状态的,可以快速扩展,主要负责SQL执行与路由、分布式事务、全局索引维护等功能。

 

存储集群负责数据的存储,它通过Paxos协议来保证数据的高可靠性,同时,也会配合计算集群,基于MVCC做分布式事务的可见性判断。Paxos还使得存储集群具备异地多活的部署能力,满足“两地三中心”、“三地五中心”等部署形态,为金融等行业提供数据高可靠性能力保障。

 

日志集群最大的特点就是提供100%兼容MySQL的binlog日志,因为“100%兼容”,所以PolarDB-X可以很方便的接入目前的数据链路生态,为下游数据处理提供业务数据。

 image.png

 

接下来我们看一下PolarDB for PG的架构,如上图。与PolarDB-X不同,PolarDB for PG采用“共享存储、一写多读”架构:计算节点的无状态特性,使得这种架构能提供极致的弹性,特别适用于有“洪峰式”流量的场景,如电商、出行、游戏、直播等等。

 

同时,由于PolarDB for PG 100%兼容PG生态,可以享受PG社区丰富的插件红利,基于插件,PolarDB for PG可以提供时空分析、分布式处理等高级功能。

 

image.png 

 

上图这是我们云产品的开源时间线,最近一年,我们发布了大量的企业级特性,来满足用户的实际生产需求。包括分析能力提升、安全加密、审计容灾、闪回查询、性能优化等。未来我们将持续开源相关企业级能力,并加大在国产适配和生态适配上的投入。

 

更多精彩内容,欢迎观看:

《云计算加速开源创新》——打造世界级云原生数据库开源社区(下):

https://developer.aliyun.com/article/1223923?groupCode=tech_library

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
9月前
|
关系型数据库 MySQL 数据库
MyEMS开源系统安装之数据库
本文详细讲解MyEMS的安装步骤,重点介绍数据库架构与脚本部署。MyEMS支持MySQL 8.0、MariaDB 10.5及SingleStore 7.0等数据库服务器。通过命令行或客户端工具执行SQL脚本完成安装,包括多个数据库(如myems_billing_db、myems_energy_db等)。此外,提供解决常见问题的方法,如“用户拒绝访问”、“COLLATE设置”和“MAX_ALLOWED_PACKET错误”。注意,不建议在生产环境中将数据库安装于Docker容器内。
272 1
|
10月前
|
人工智能 运维 关系型数据库
|
12月前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
891 2
|
12月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
682 3
|
12月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
798 1
|
12月前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
293 1
|
12月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
337 0
|
10月前
|
SQL 人工智能 数据可视化
16.1k star! 只需要DDL就能一键生成数据库关系图!开源神器ChartDB让你的数据结构"看得见"
ChartDB是一款开源的数据库可视化神器,通过一句智能查询就能自动生成专业的数据库关系图。无需安装客户端、不用暴露数据库密码,打开网页就能完成从数据建模到迁移的全流程操作,堪称开发者的"数据库透视镜"。
2225 67
|
9月前
|
SQL 关系型数据库 分布式数据库
PolarDB开源数据库入门教程
PolarDB是阿里云推出的云原生数据库,基于PostgreSQL、MySQL和Oracle引擎构建,具备高性能、高扩展性和高可用性。其开源版采用计算与存储分离架构,支持快速弹性扩展和100%兼容PostgreSQL/MySQL。本文介绍了PolarDB的安装方法(Docker部署或源码编译)、基本使用(连接数据库、创建表等)及高级特性(计算节点扩展、存储自动扩容、并行查询等)。同时提供了性能优化建议和监控维护方法,帮助用户在生产环境中高效使用PolarDB。
2896 21
|
11月前
|
Kubernetes Cloud Native 开发者
alibaba-load-balancer-controller v1.2.0:开启云原生网关开源新篇章!敬请探索!
alibaba-load-balancer-controller v1.2.0:开启云原生网关开源新篇章!敬请探索!
324 61

热门文章

最新文章