【DB吐槽大会】第38期 - PG 不能自动创建(扩展)分区

背景

1、产品的问题点

• PG 不能自动创建(扩展)分区

• 例如按日期分区的分区表, 每个月1个分区, 如果写入的数据落入了不存在的分区会报错, 而不是自动创建它.

2、问题点背后涉及的技术原理

• PG 支持range, list, hash分区方法, 写入数据时, 根据分区字段的value计算得到对应的分区, 如果元数据中没有定义这个分区, 并且也没有定义默认分区的话, 报错.

• 一般时间类型的分区字段采用range分区, 例如按年、月、日分区.
• 某些可枚举的字段分区, 通常采用list分区.
• 某些字段值较多, 但是总会按照这个值进行等值查询的, 比如用户ID, 则通常使用hash分区.
• 某些情况下也可能会采用多级分区, 如hash+range, ...

3、这个问题将影响哪些行业以及业务场景

• 通用场景, 特别是list和range分区

4、会导致什么问题?

• list和range分区往往是随着时间的推移或业务持续运营会发生变化, 所以无法在分区表定义时完全固定下来, 而需要有开发者或DBA在需要时提前创建. 如果忘记提前创建分区, 会导致写入异常, 影响业务.

• 例如每个月底创建下个月的分区.

5、业务上应该如何避免这个坑

• 配置JOB, 自动创建
• 将分区表的创建操作规范化, 通过巡检、日常操作等制度机制保障不出现无分区的情况.
• 《PostgreSQL 自动创建分区实践 - 写入触发器》
• 或者使用pg_pathman这样的插件.

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

• 管理变得复杂, 任务、机制与业务紧耦合, 增加业务风险点

7、数据库未来产品迭代如何修复这个坑

• 希望内核支持: 配置好分区命名规则, 如果写入的数据对应的分区不存在, 希望可以自动创建不存在的分区.