PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
技术干货 ｜ 阿里云数据库PostgreSQL 13大版本揭秘
阿里云RDS PostgreSQL是一款兼容开源PostgreSQL的全托管云数据库产品，自2015年首次发布以来，根据用户需求不断升级迭代，已支持9.4、10、11、12等多个版本，覆盖了高可用版、基础版、只读实例等多种形态，数据存储覆盖了本地SSD、SSD云盘、 ESSD云盘等多种形态。最高配置可达104核，768G内存，32TB，100万IOPS。
“数据库内核从入门到精通 ”系列课开讲！
基于 2022 年教育部-阿里云产学合作协同育人教学内容和课程改革项目合作，云原生分布式开源数据库 PolarDB 系列示范课程建设项目陆续和高校展开。阿里云开发者社区、阿里云PolarDB开源社区、武汉大学联合出品「数据库内核从入门到精通」系列课程正式上线，阿里云数据库专家携手高校教师系统化解读数据库理论，开展数据库实践，带学员全面掌握数据库内核开发技能。
高效易用的数据同步：阿里云瑶池 Zero-ETL服务来啦！
在大数据时代，企业有着大量分散在不同系统和平台上的业务数据。OLTP数据库不擅长复杂数据查询，不具备全局分析视角等能力，而OLAP数据仓库擅长多表join，可实现多源汇集，因此需要将TP数据库的数据同步到AP数据仓库进行分析处理。传统的ETL流程面临资源成本高、系统复杂度增加、数据实时性降低等挑战。为了解决这些问题，阿里云瑶池数据库提供了Zero-ETL服务，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统的数据自动进行提取并加载到数据仓库，从而一站式完成数据同步和管理，实现事务处理和数据分析一体化，帮助客户专注于数据分析业务。
实践教程之采集PolarDB-X SQL日志到ElasticSearch
PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您如何采集PolarDB-X SQL日志到ElasticSearch。
Curve 块存储实践 _ 十分钟带你体验高性能云原生数据库PolarDB
Curve 块存储是云原生计算基金会 (CNCF) Sandbox 项目，是网易自研和开源的高性能、易运维、云原生的分布式存储系统。而 PolarDB File System （PFS）是由阿里云自主研发的高性能类 POSIX 的用户态分布式文件系统，服务于阿里云数据库 PolarDB 产品。通过本文的介绍，大家可以快速部署一套 PolarDB+PFS+CurveBS 的云原生数据库，并在 PFS 上编译部署 PolarDB 。