开源大咖说第3期-分布式一致性
大纲: • 分布式一致性中的概念 • 分布式有哪些一致性算法 • 具体介绍下paxos和raft • 分布式一致性算法能干什么 • 分布式一致性算法和分布式事务的关系 • 最后介绍下PolarStore的一致性算法讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB-X云原生分布式数据库的诞生与发展
随着云计算的普及,阿里巴巴很多内部系统都逐渐演变成云产品。作为典型代表,本次分享将结合这个演变过程讲述PolarDB-X的发展历史、架构演进及决策逻辑、关键特性、未来迭代方向等。讲师介绍吴学强(花名:燧木)阿里云高级技师专家个人简介:阿里云PolarDB-X云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017加入PolarDB-X团队进行高并发低延迟的MySQL分布式相关系统开发工作,目前负责PolarDB-X的云原生底座打造、生态系统连接、开源等开放生态构建工作。
2024阿里云PolarDB开发者大会一站式数据管理分会场
解读“AI驱动下走向一站式智能化的数据平台”。深入剖析云原生一体化HTAP、可信密态数据管理体系,分享PolarDB多模态空间数据管理能力的最佳实践。讲师/嘉宾简介周文超,阿里云数据库事业部生态工具产品部负责人张广舟,阿里云PolarDB PostgreSQL产品部负责人
国产数据库研制人才培养实践
大咖云集,燃爆夏日。8月5日,由PostgreSQL中文社区、阿里云PolarDB开源社区、蚂蚁OceanBase开源社区联合举办的开源数据库技术沙龙在杭州召开。 武汉大学计算机学院博士彭煜玮老师,为我们分享了武汉大学在国产数据库研制人才培养方面的经验。彭老师向大家介绍了武汉大学计算机学院本科学生的组成、数据库主干课程和支线课程的设置,重点从数据库使用、应用开发和数据库内核开发两个方面分享了国产/开源数据库在武汉大学数据库教学中应用的实践,举例讲解了与OceanBase和PolarDB的项目合作的一些细节和进展。
PolarDB PostgreSQL版企业级特性解读:Global Cache
阿里云PolarDB数据库技术专家吴辉静:《PolarDB PostgreSQL企业级特性解读——Global Cache》。本次分享首先介绍了PostgreSQL的缓存机制data cache和meta cache,并分析了其中存在的问题,随后提出了PolarDB的global cache优化方案,吴老师在分享中详细说明了global cache的架构与实现。
亿视电子基于PolarDB-X打造能源数字基座实践
在本次 PolarDB & ScaleFlux 联合meetup中,来自亿视电子的技术总监韩毅老师分享了亿视电子基于PolarDB-X打造能源数字基座实践。
在 CurveBS 上部署跨机 PolarDB for PostgreSQL 集群
Curve 是网易开源的高性能、高可用、高可靠分布式存储系统,具备良好的扩展性,可应用于主流的云原生基础设施平台。本期开源学堂将演示如何使用 CurveBS 存储集群作为共享块存储底座,在多台 ECS 上部署 PolarDB-PG 共享存储数据库集群。同时简析部署流程背后的技术原理。
PolarDB-X 动手实践系列第13期:PolarDB-X 数据导入导出功能
作为 MySQL 生态的云原生分布式数据库,PolarDB-X 不仅兼容 MySQL 生态的数据导入导出方式,如mysqldump 工具、Source 语句、Load data 语句等,而且开发了新的导入导出工具 Batch-Tool,满足用户的数据保存和数据迁移需求,本期分享将介绍 PolarDB-X 的数据导入导出功能,并简单介绍不同方式之间的差异和原理。
PolarDB-X 动手实践系列第六期——如何在 PolarDB-X 中优化慢 SQL
在数据库的开发和运维过程中,慢 SQL 是最常见的问题之一, PolarDB-X 提供了原生的慢 SQL 分析能力,可以很好的帮助我们解决这一问题。本期分享将围绕这一场景演示如何在 PolarDB-X 中分析和解决慢 SQL。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB-X 动手实践系列——如何对 PolarDB-X 集群做动态扩缩容
作为一款云原生+分布式数据库系统,弹性扩缩容是 PolarDB-X 的亮点特性之一。在今年一月底的版本更新中,PolarDB-X 扩缩容能力正式发布,本期分享将围绕该能力进行演示与讲解。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
开源学堂:PolarDB 管控如何保障 DB 一致性
当 DB 集群出现 HA 场景时,原本单写的 DB 有可能出现双写的情况,管控如何来避免这种场景导致的一致性问题?本期开源学堂讲详细介绍管控在设计过程中如何考虑并且避免 DB 自身无法解决的一致性问题。讲师/嘉宾简介蟾兔,阿里云 PolarDB for PostgreSQL 云原生管控, PolarDB Stack 开源负责人之一,曾参与线下版 PolarDB Stack Operator、存储管理等模块开发工作,是 PolarDB Stack 开源版代码的主要贡献人,目前主要工作为 PolarDB 公共云管控研发。
PolarDB-X 动手实践系列第一讲:如何一键部署开源 PolarDB-X
云原生分布式数据库 PolarDB-X 已于 2021 年 10 月 20 日开源,想要体验水平扩容、分布式事务、全局二级索引、全局 Binlog 等特性的前提是能够在本地部署一个 PolarDB-X 集群,本次分享将介绍 PolarDB-X 的多种部署方式,带你踏上体验 PolarDB-X 的第一步。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
PolarDB for PostgreSQL 开源架构解读
PolarDB for PostgreSQL是开源分布式云原生数据库, 采用计算存储分离架构, 本期视频介绍了PolarDB PG如何从架构层面解决PG单机版的高并发、HTAP、读写分离延迟等痛点讲师简介花名: 北侠 title: 阿里云高级技术专家个人介绍: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB分布式数据库PolarDB-X,兼容MySQL的集中式分布式一体化的数据库,平替MySQL的国产数据库。
PolarDB分布式数据库PolarDB-X,兼容MySQL的集中式分布式一体化的数据库,平替MySQL的国产数据库。
从 SQL Server、Oracle 迁移到 PolarDB 的最佳实践
在7月29日PolarDB开源社区南京沙龙中,中启乘数科技创始人唐成分享了《从SQL Server、Oracle迁移到PolarDB的最佳实践》,介绍了PolarDB的产品优势与亮点,从业务需求角度出发,解决企业在数据迁移过程中遇到的痛点。
Kubernetes 基础与 PolarDB-X 开源
Kubernetes是使用PolarDB-X开源版本绕不开的话题,了解Kubernetes不光有助于更好的使用PolarDB-X,还能通过Kubernetes的架构设计去理解分布式系统的资源调度核心思路。本期分享将介绍Kubernetes基础和PolarDB-X开源是如何使用Kubernetes来实现集群管理。
【视频回放】PolarDB开源数据库&PG中文社区技术沙龙温州站
5月12日,由PolarDB开源社区和PostgreSQL中文社区联合举办的开源数据库技术沙龙(温州站)圆满落幕!本次活动邀请到来自阿里云、PG中文社区、温州大学等多位资深技术专家与老师,共同探讨研讨数据库在云计算、AI等领域的发展趋势和机遇,推动数据库人才发展。
【论文解读】VLDB 2022:Ganos——阿里云多维度、动态、场景化的云原生时空数据库引擎
《Ganos: A Multidimensional, Dynamic, and Scene-Oriented Cloud-Native Spatial Database Engine》介绍了空天数据库引擎Ganos背后的系统设计,分析了对地观测、数字孪生等新技术浪潮背景下多维、动态、场景化新型空间多模态数据的挑战,自底向上提出了低成本高可用对象存储扩展、空间/时空/网格新型数据类型与模型体系、多维索引访问方法和空间多级并行查询与优化整体框架。Ganos加持PolarDB数据库,使之成为业界首个具备云原生空间数据引擎,且最早系统性支持移动对象和3D场景数据处理能力的商业化数据库。
PolarDB for PostgreSQL - 共享存储在线扩容
随着业务的发展,当数据库的存储容量不能满足数据规模的增长时,需要对存储空间进行扩容,此过程中会因数据迁移而导致服务中断。本期开源学堂将演示对部署在共享存储上的 PolarDB-PG 集群进行不中断业务的在线扩容,同时简析部署流程背后的技术原理。
PolarDB-X 动手实践系列第14期:PolarDB-X 的表组与分区变更
为了追求极致的性能,在 AUTO 模式下,PolarDB-X 引入了表组的概念,可以维持表之间的关联查询稳定的下推关系,消除分布式事务。同时提供丰富的分区管理能力(例如热点处理,数据隔离等),满足业务上的不同需求。本期分享将对上述功能以及背后的设计逻辑展开介绍。
PostgreSQL 内核解读系列第三讲:PostgreSQL 存储管理(一)
本系列课程将面向DBA、高校学生、内核爱好者,分15个章节,系统化介绍PG核心技术原理、用法和代码实现。希望通过课程学习,让没有内核经验的同学和DBA,也可以进行简单的特性开发,更深入理解PG配置和运行原理。本节课将讲述PostgreSQL的存储管理,涵盖主流存储引擎架构和原理(Oracle RAC Cache Fusion、阿里云三层解耦、XEngine 的LSMTree实现)、PG页面和元组(MySQL、PG页面结构对比)、Buffer管理、淘汰算法(常用淘汰算法)等内容。讲师/嘉宾简介漠雪,13年数据库内核开发和架构设计经验,从无到有参与PolarDB、GaussDB等多款数据库系列产品的内核架构设计和开发,多年美国、以色列等海外研发经验,了解数据库行业技术趋势、PG和MySQL内核技术及海外社区运作等。目前主要负责横向拉通阿里云数据库各产品通用技术和架构演进,标准化,开源技术等工作。
PolarDB-X 动手实践系列第10期:基于 Prometheus + Grafana 的 PolarDB-X 监控体系
监控是数据库必备的运维能力,PolarDB-X 基于 Prometheus + Grafana 构建了灵活的监控能力,帮助我们充分了解各组件的运行状况。本期分享将介绍如何监控 PolarDB-X 集群,并简单介绍背后的技术实现。讲师/嘉宾简介迪哲,阿里云 PolarDB-X 云原生分布式数据库技术专家,毕业于北京大学计算系。2017年加入 PolarDB-X 团队,主要负责开源云原生底座、可观测性及生态工具打造。
PolarDB-X 动手实践系列第五讲——如何在 PolarDB-X 中进行 Online DDL
建表、加列、加索引等是数据库系统中最常见的 DDL 操作,分布式数据库系统中还有新建全局二级索引、改变拆分方式等特有的 DDL 操作,如何在不影响业务的前提下进行在线 DDL 操作,是 PolarDB-X 的核心功能之一。本期分享将围绕 DDL 这一场景演示 PolarDB-X 的 Online DDL 能力。讲师/嘉宾简介燧木,阿里云 PolarDB-X 云原生分布式数据库技术负责人之一,毕业于浙江大学计算机学院,兴趣广泛,对操作系统、密码学、分布式系统等均有涉猎。2017 年加入 PolarDB-X 团队进行高并发低延迟的 MySQL 分布式相关系统开发工作,目前负责 PolarDB-X 的云原生底座打造、生态系统连接、开源等开放生态构建工作。
开源大咖说-为什么PolarDB选择计算存储分离架构
议题为什么选择计算存储分离的架构内容简介主流的数据库架构有哪些? 市场占比分别有多少? 分别适合什么业务场景? 各自有哪些优缺点? 计算存储分离的架构的优势? 计算存储分离的架构适合的业务场景? 近期的roadmap, 计划解决哪些PG用户诟病多年的PG问题?讲师简介花名: 北侠 title: 阿里云高级技术专家个人简介: 深度参与PolarDB项目从零构建的过程,负责过PolarStore分布式存储一致性协议的研发和元数据管理的研发,现负责PolarDB PostgreSQL的HTAP系统的业务和研发。
PolarDB开源
PolarDB 是阿里云自研的云原生数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。 2021年,阿里云先后宣布PolarDB PostgreSQL版与PolarDB分布式版开源,并持续推动开源版本迭代和演进,助力开发者通过开源版本快速使用阿里云数据库产品技术,并参与产品迭代中来。 开源历程参见:OpenPolarDB.com/about