背景
1、产品的问题点
- PG 没有block level压缩
2、问题点背后涉及的技术原理
- PG 只有行级别压缩, 当1条记录压缩后的长度超过1/4 block size(约2000字节)(由参数 TOAST_TUPLE_THRESHOLD 控制阈值) 时, PG 会将其变长字段类型存储到TOAST切片.
- 这种行级别的压缩方式压缩比较低
3、这个问题将影响哪些行业以及业务场景
- 对存储的成本较为敏感的业务, 例如IOT, 时序, 冷数据, 冷仓库等.
4、会导致什么问题?
- 压缩比低, 需要使用更多的存储空间, 导致存储成本较高
5、业务上应该如何避免这个坑
- 更换产品,
- 或使用FDW, 将数据存储在外部, 例如OSS_FDW将数据存储在OSS对象存储内, 使用外部廉价、高压缩比存储.
6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
- 管理成本增加
- 使用oss_fdw外部存储, 不支持索引, 查询速度更慢.
7、数据库未来产品迭代如何修复这个坑
- 内核层支持BLOCK级别的压缩,
- 使用压缩效率、压缩比更高的算法
- 使用列存储, 存储同类的数据, 比行+块级别压缩比更高.
