PolarDB for PostgreSQL - 共享存储在线扩容
随着业务的发展,当数据库的存储容量不能满足数据规模的增长时,需要对存储空间进行扩容,此过程中会因数据迁移而导致服务中断。本期开源学堂将演示对部署在共享存储上的 PolarDB-PG 集群进行不中断业务的在线扩容,同时简析部署流程背后的技术原理。
共建云原生开源生态 PolarDB × Curve 杭州 Meetup
10月15日,PolarDB 和 Curve 两大开源社区于杭州联合举办线下 Meetup,活动邀请到了来自阿里云、网易数帆、乘数科技的资深技术专家,为大家带来 PolarDB-PG、PolarDB-X 及 Curve 三大开源项目的最佳实践及生态合作案例。
PostgreSQL 内核解读系列第六讲:PostgreSQL 索引介绍(下)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述 PostgreSQL 索引基本介绍,涵盖Hash索引、Bitmap索引、GiST索引、GIN索引、brin索引、其他索引等内容。
PostgreSQL 内核解读系列第二讲:PostgreSQL 体系结构
本系列课程将面向 DBA、高校学生、内核爱好者,分15章节,系统化介绍 PostgreSQL 核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和 DBA,也可以进行简单的特性开发,更深入理解PostgreSQL 配置和运行原理。本节课将讲述 PostgreSQL 的体系架构,涵盖系统表,初始化、启动、查询流程,辅助进程等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
《开源大咖说》 - 5 - PolarDB的MPP跨机并行执行
PolarDB的MPP跨机并行执行.讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB for PostgreSQL 开源架构解读
PolarDB for PostgreSQL是开源分布式云原生数据库, 采用计算存储分离架构, 本期视频介绍了PolarDB PG如何从架构层面解决PG单机版的高并发、HTAP、读写分离延迟等痛点讲师简介花名: 北侠 title: 阿里云高级技术专家个人介绍: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
开源大咖说-为什么PolarDB选择计算存储分离架构
议题为什么选择计算存储分离的架构内容简介主流的数据库架构有哪些? 市场占比分别有多少? 分别适合什么业务场景? 各自有哪些优缺点? 计算存储分离的架构的优势? 计算存储分离的架构适合的业务场景? 近期的roadmap, 计划解决哪些PG用户诟病多年的PG问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
IDC发布《2023年上半年中国关系型数据库软件市场跟踪报告》显示,关系型数据库市场,阿里云第一,PolarDB-X 作为核心产品,背后有哪些故事呢?
IDC发布《2023年上半年中国关系型数据库软件市场跟踪报告》显示,关系型数据库市场,阿里云第一,PolarDB-X 作为核心产品,背后有哪些故事呢?
你知道吗?数据误删不再是噩梦!有了PolarDB分布式版,这种糟糕的经历将成为过去式!
你知道吗?数据误删不再是噩梦!有了PolarDB分布式版,这种糟糕的经历将成为过去式!
2024阿里云PolarDB开发者大会云原生技术分会场
详解PolarDB MySQL版Serverless、IMCI、NL2SQL等领先特性的技术实现。现场Demo演示,直观感受PolarDB产品特性。携手客户,解读PolarDB最佳实践。讲师/嘉宾简介杨辛军,阿里云PolarDB MySQL产品部负责人
“国产数据库共话未来趋势”技术沙龙上海站
2024年1月6日,由阿里云 PolarDB开源社区发起,PostgreSQL中文社区、拓数派联合主办的“国产数据库共话未来趋势”技术沙龙在上海成功举行。本次活动,我们邀请到了各个行业数据库专家,分享交流国产数据库的实践与应用,深入探讨数据库技术,交流国产数据库的发展状况和未来。
MySQL & PostgreSQL 终极大比拼
MySQL、PostgreSQL,乃至各种各样的数据库,孰强孰弱,难以辨别。究其原因,只因”不识庐山真面目,只缘身在此山中“。只需跳出”数据库“三字,一切自然看的分明。本次分享将带你换个维度,发现真相。
手把手教你成为PolarDB开源贡献者
开源生态的繁荣,离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力,了解到如何更快的参与开源社区,PolarDB开源社区推出《开源贡献新手指南系列》,本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程,即便你不懂编程或代码,也能成为开源贡献者,通过参与开源社区贡献获得自身成长。
PolarDB-X 表组与分区变更介绍
PolarDB-X 进阶系列课程第一讲:部署与运维,讲解并演示PolarDB-X的安装部署以及常规的运维操作 (备份恢复、只读实例、备库重搭等)
PolarDB开源数据库云上实验室:云时代下的数据库学习新范式
在学习数据库的过程中,一个便捷的练习环境是走向成功的关键第一步。为了方便开发者学习和使用开源数据库,PolarDB提供了免费的在线实验环境,内置PG开源数据库以及PolarDB开源数据库:PostgreSQL版和分布式版的容器镜像。无需下载或安装,只需一键启动,便可立即投入学习。立即体验:https://developer.aliyun.com/adc/scenario/f55dbfac77c0467a9d3cd95ff6697a31
数据库智能化运维实践
在7月29日PolarDB开源社区南京沙龙上,南京基石数据技术有限责任公司技术总监徐戟(白鳝)分享了《数据库智能运维实践》,从数据库运维面临的困境出发,介绍了在智能化支撑下的数据库运维数字化转型,以及对于ChatGPT的思考和大模型在数据库领域的应用场景。
AI时代下的数据库变革
《AI 时代下的数据库变革》,主讲人:磐吉云数创始人CEO冯若航。在PolarDB开源社区温州沙龙冯若航为大家介绍了向量数据库以及与数据库自动驾驶领域的发展情况,分享了对于AI大模型在数据库领域的变革与思考。
阿里云PolarDB数据库在AI时代下的应用与优势
《PolarDB数据库在AI时代下的应用与优势》,主讲人:阿里云数据库开源首席架构师郭良忠。随着AI大模型时代的到来,阿里云通过PolarDB数据库与AI场景的结合,帮助大家更好地了解和掌握PolarDB数据库+AI的相关知识和技能,进而在实际工作中更好地应用PolarDB数据库+AI一体化的思路解决业务新需求和新场景的融合,提高数据处理效率和竞争力。
PolarDB-X 动手实践系列第16期:备库重搭原理与实践
PolarDB-X全新发布的V2.2.1升级版本,加强了生产级关键能力,全面提升PolarDB-X面向数据库生产环境的易用性和安全性。备库重搭是指在备库发生故障时进行恢复的过程,PolarDB-X 基于自身特点实现一套备库重搭流程,可帮助用户及时恢复故障节点。本次分享主要介绍 PolarDB-X 中备库重搭的背景与原理,以及 PolarDB-X Operator 是如何实现 DN 备库重搭的。
透明压缩技术:数据库存储降本增效的软硬件协同方案
在ScaleFlux & PolarDB meetup中,ScaleFlux 解决方案架构师董红禹进行了《透明压缩技术:数据库存储降本增效的软硬件协同方案》的分享,从数据计算存储的发展趋势、透明压缩技术原理与应用场景以及数据库的应用价值三个方面,为大家介绍了可计算存储在数据存储降本增效的应用与实践。
PolarDB-X 动手实践系列第九期——PolarDB-X Replica原理和使用
Replication用来进行MySQL数据库之间的高效复制,是构建MySQL主备和多主架构的基础能力。PolarDB-X 2.1.0 版本新增兼容MySQL Replica相关指令,实现了MySQL和PolarDB-X之间的数据复制。本期分享将分别演示PolarDB-X作为MySQL和PolarDB-X的备库,并简单介绍背后的技术原理。讲师/嘉宾简介积月,阿里云 PolarDB-X 云原生分布式数据库高级开发工程师,毕业于南京大学计算机系。2021年加入 PolarDB-X 团队,主要负责数据迁移等生态组件研发工作。
PolarDB-X 动手实践系列第八期——用 PolarDB-X 搭建一个高可用系统
大型后台系统往往都采用分布式架构,该架构要考虑的核心问题之一是系统高可用如何设计。PolarDB-X 在4月1日发布了 2.1.0 版本,该版本引入的 X-Paxos 多副本能力使得系统的高可用能力有了质的提升。本期分享将用 PolarDB-X 搭建一个高可用系统,通过直接 kill 容器模拟节点故障,以观察 PolarDB-X 的自动恢复情况。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB-X 动手实践系列第五讲——如何在 PolarDB-X 中进行 Online DDL
建表、加列、加索引等是数据库系统中最常见的 DDL 操作,分布式数据库系统中还有新建全局二级索引、改变拆分方式等特有的 DDL 操作,如何在不影响业务的前提下进行在线 DDL 操作,是 PolarDB-X 的核心功能之一。本期分享将围绕 DDL 这一场景演示 PolarDB-X 的 Online DDL 能力。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
《开源学堂》第4讲 —— HTAP 架构介绍
在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力,对一套TP的数据支持两套执行引擎: 1. 单机执行引擎用于处理高并发的OLTP; 2. MPP跨机分布式执行引擎用于复杂的OLAP查询,发挥集群多个RO节点的算力。讲师/嘉宾简介花名: 北侠title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
第一讲:PolarDB for PostgreSQL架构解析
介绍PolarDB for PostgreSQL一写多读的架构优势、特点 以及性能优势。
Kubernetes与PolarDB-X开源
Kubernetes是使用PolarDB-X开源版本绕不开的话题,了解Kubernetes不光有助于更好的使用PolarDB-X,还能通过Kubernetes的架构设计去理解分布式系统的资源调度核心思路。本期分享将介绍Kubernetes基础和PolarDB-X开源是如何使用Kubernetes来实现集群管理。
PolarDB-PG 企业级特性:闪回功能详解
闪回表(Flashback Table) 功能是PolarDB-PG数据库高可用的一个重要特性,支持在数据人为误操作时,快速闪回到某个时间点,恢复以及查看丢失的数据。本期分享将会介绍闪回表、闪回日志的基本原理以及特性,并演示闪回功能的使用方法。
PolarDB-X 备份恢复原理与实践
备份恢复是生产级数据库必不可少的功能,而PolarDB-X 作为一款分布式数据库,备份数据的全局一致也是最基本的要求。本期分享将介绍PolarDB-X 开源版备份恢复功能的背景与原理,以及如何使用 PolarDB-X Operator 实现备份调度。
PG在跨境电商的应用
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 智赢跨境创始人、PG 中国社区 MVP 于培恒带来主题分享《PG在跨境电商的应用》,他说,由于智赢八年积累60亿数据,通过数据处理降低成本被提上日程,本着“省钱的技术才是真本事,不变的技术才是硬通货” 的理念,选择应用 PostgreSQL 数据库。对于智赢的业务场景而言,PostgreSQL 的优点在于数据类型多、索引类型多、函数多、插件多。
高性能PolarDB一体机解决方案
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 中启乘数科技创始人唐成为大家带来《高性能PolarDB一体机解决方案》,他围绕PolarDB的特点、高性能一体机的核心技术、使用场景三个方面来分享了一体机CData的解决方案。他说,CData是将数据库的最佳实践与快速发展的硬件相结合,把计算能力、网络能力、存储能力等各方面做到最佳优化,提供一套高性能、高可靠,最佳性价比的数据库平台,它的使用场景也包括高可用、强一致性、大容量的场景。
从 SQL Server、Oracle 迁移到 PolarDB 的最佳实践
在7月29日PolarDB开源社区南京沙龙中,中启乘数科技创始人唐成分享了《从SQL Server、Oracle迁移到PolarDB的最佳实践》,介绍了PolarDB的产品优势与亮点,从业务需求角度出发,解决企业在数据迁移过程中遇到的痛点。
云原生数据库PolarDB PostgreSQL版助力企业降本增效方案
云原生数据库PolarDB PostgreSQL版助力企业降本增效方案,主讲人:阿里云数据库PolarDB产品经理张琦瑄。PolarDB提供了云原生一站式的数据管理与服务,同时以极低的成本,提供商业数据库的性能。
大模型与PolarDB数据库在企业专属知识库的探索和演进
《大模型与PolarDB数据库在企业专属知识库的探索和演进》,主讲人南靖,阿里云数据库高级架构师、PolarDB开源社区技术委员会副主席。
【视频回放】PolarDB开源数据库&PG中文社区技术沙龙温州站
5月12日,由PolarDB开源社区和PostgreSQL中文社区联合举办的开源数据库技术沙龙(温州站)圆满落幕!本次活动邀请到来自阿里云、PG中文社区、温州大学等多位资深技术专家与老师,共同探讨研讨数据库在云计算、AI等领域的发展趋势和机遇,推动数据库人才发展。
《Serverless数据库技术研究报告》解读
在PolarDB & ScaleFlux meetup中,阿里云数据库开源首席架构师、PolarDB开源社区技术委员会副主席于巍进行了《助力企业降本增效-〈Serverless数据库技术研究报告〉解读》的分享,就《Serverless数据库技术研究报告》与 《数据库Serverless能力分级要求》进行了详细介绍。
亿视电子基于PolarDB-X打造能源数字基座实践
在本次 PolarDB & ScaleFlux 联合meetup中,来自亿视电子的技术总监韩毅老师分享了亿视电子基于PolarDB-X打造能源数字基座实践。
pg4ml 机器学习框架系列课程:实现细节、XOR 模型案例(上)
pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架,本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节,并构建XOR两层网络的模型案例,包括数据集、XOR分类的案例与原理、神经网络节点、训练任务结构与执行等内容。
对话开源:论数据库开源人才培养的实践
数据库开发者的核心要素是什么?不同市场所需人才的共性和差异性在哪里?开源数据库人才是如何提升自我竞争力的?本期大咖说,阿里云数据库开源负责人惊玄携手CUUG负责人陈卫星,与你分享数据库开源人才的培养经验。
PolarDB-X 动手实践系列第14期:PolarDB-X 的表组与分区变更
为了追求极致的性能,在 AUTO 模式下,PolarDB-X 引入了表组的概念,可以维持表之间的关联查询稳定的下推关系,消除分布式事务。同时提供丰富的分区管理能力(例如热点处理,数据隔离等),满足业务上的不同需求。本期分享将对上述功能以及背后的设计逻辑展开介绍。
PolarDB-X 动手实践系列第13期:PolarDB-X 数据导入导出功能
作为 MySQL 生态的云原生分布式数据库,PolarDB-X 不仅兼容 MySQL 生态的数据导入导出方式,如mysqldump 工具、Source 语句、Load data 语句等,而且开发了新的导入导出工具 Batch-Tool,满足用户的数据保存和数据迁移需求,本期分享将介绍 PolarDB-X 的数据导入导出功能,并简单介绍不同方式之间的差异和原理。
PostgreSQL 内核解读系列第四讲:PostgreSQL 存储管理(二)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述PostgreSQL的存储管理,涵盖磁盘管理(Storage Managers、VFD)、 空闲空间映射表(FSM)、可见性映射表(VM)、内存管理等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
PostgreSQL 内核解读系列第三讲:PostgreSQL 存储管理(一)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述PostgreSQL的存储管理,涵盖主流存储引擎架构和原理(Oracle RAC Cache Fusion、阿里云三层解耦、XEngine 的LSMTree实现)、PG页面和元组(MySQL、PG页面结构对比)、Buffer管理、淘汰算法(常用淘汰算法)等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
PolarDB-X 动手实践系列第10期:基于 Prometheus + Grafana 的 PolarDB-X 监控体系
监控是数据库必备的运维能力,PolarDB-X 基于 Prometheus + Grafana 构建了灵活的监控能力,帮助我们充分了解各组件的运行状况。本期分享将介绍如何监控 PolarDB-X 集群,并简单介绍背后的技术实现。讲师/嘉宾简介迪哲,阿里云 PolarDB-X 云原生分布式数据库技术专家,毕业于北京大学计算系。2017年加入 PolarDB-X 团队,主要负责开源云原生底座、可观测性及生态工具打造。
PolarDB-X 动手实践系列——如何对 PolarDB-X 集群做动态扩缩容
作为一款云原生+分布式数据库系统,弹性扩缩容是 PolarDB-X 的亮点特性之一。在今年一月底的版本更新中,PolarDB-X 扩缩容能力正式发布,本期分享将围绕该能力进行演示与讲解。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB-X 动手实践系列第三讲——如何将 PolarDB-X 与大数据等系统互通
一款新的数据库时首先必须要解决一个问题:如何避免成为数据孤岛。作为 MySQL 生态云原生分布式数据库 PolarDB-X 提供了完全兼容 MySQL Binlog 的增量数据订阅能力,即全局 Binlog。本期将讲解其基本原理并演示用 Canal 消费其增量数据。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB开源
PolarDB 是阿里云自研的云原生数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。 2021年,阿里云先后宣布PolarDB PostgreSQL版与PolarDB分布式版开源,并持续推动开源版本迭代和演进,助力开发者通过开源版本快速使用阿里云数据库产品技术,并参与产品迭代中来。 开源历程参见:OpenPolarDB.com/about