PolarDB-PG | PostgreSQL + 阿里云OSS 实现高效低价的海量数据冷热存储分离
数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办?
冷热分离方案:
- 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询.
- duckdb 存储元数据(parquet 映射)
方案特点:
- 内网oss不收取网络费用, 只收取存储费用, 非常便宜
- oss分几个档, 可以根据性能需求选择
- parquet为列存储, 一般历史数据的分析需求多,性能不错
- duckdb 支持 parquet下推过滤, 数据过滤性能不错
Curve 块存储实践 _ 十分钟带你体验高性能云原生数据库PolarDB
Curve 块存储是云原生计算基金会 (CNCF) Sandbox 项目，是网易自研和开源的高性能、易运维、云原生的分布式存储系统。而 PolarDB File System （PFS）是由阿里云自主研发的高性能类 POSIX 的用户态分布式文件系统，服务于阿里云数据库 PolarDB 产品。通过本文的介绍，大家可以快速部署一套 PolarDB+PFS+CurveBS 的云原生数据库，并在 PFS 上编译部署 PolarDB 。
PolarDB 开源版 使用PostGIS 数据寻龙点穴（空间聚集分析）- 大数据与GIS分析解决线下店铺选址问题
寻龙点穴是风水学术语。古人说：三年寻龙，十年点穴。意思就是说，学会寻龙脉要很长的时间，但要懂得点穴，并且点得准则难上加难，甚至须要用“十年”时间。 但是，若没正确方法，就是用百年时间，也不能够点中风水穴心聚气的真点，这样一来，寻龙的功夫也白费了。 准确地点正穴心，并不是一件容易的事，对初学者来说如此，就是久年经验老手，也常常点错点偏。
寻龙点穴旨在寻找龙气聚集之地，而现实中，我们也有类似需求，比如找的可能是人气聚集之地。
PolarDB 开源版 使用PostGIS 数据寻龙点穴（空间聚集分析）- 大数据与GIS分析解决线下店铺选址问题
【Paper Reading】DEPART：分布式KV存储系统的副本解耦方案
基于LSM-tree的键值存储系统是
NewSQL/NoSQL产品中最常用的底层存储方案，对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想，在多副本容错机制下能够实现副本数据的高效管理，从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案，并探讨未来的推广应用。
技术干货 ｜ 阿里云数据库PostgreSQL 13大版本揭秘
阿里云RDS PostgreSQL是一款兼容开源PostgreSQL的全托管云数据库产品，自2015年首次发布以来，根据用户需求不断升级迭代，已支持9.4、10、11、12等多个版本，覆盖了高可用版、基础版、只读实例等多种形态，数据存储覆盖了本地SSD、SSD云盘、 ESSD云盘等多种形态。最高配置可达104核，768G内存，32TB，100万IOPS。
谈谈in常量查询的设计与优化
如标题所示，这是一篇介绍in常量查询的源码解读文章，但又不限于in常量查询，因为其中涉及的很多设计与优化对于大多数查询都是普适的。 一如往常一样，我们首先会过一遍整体的执行流程，梳理一个大致的框架。紧接着，同时也是更重要的，我们会通过一系列在真实场景中遇到的问题（说白了就是性能优化），来对各种细节处理进行增强。
